(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211118611.7 (22)申请日 2022.09.15 (71)申请人 中山大学附属第一医院 地址 510080 广东省广州市中山 二路58号 申请人 中山大学中山眼科中心 (72)发明人 王竹　林桢哲　林浩添　高勇　 谢晓燕　胡嘉颖　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 郑华丽 (51)Int.Cl. G06V 10/764(2022.01) G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的睾丸图像分类方法 (57)摘要 本申请提供了一种基于深度学习的睾丸图 像分类方法， 获取待分析的睾丸图像和睾丸体积 数据； 将待分析的睾丸图像输入至第一分类模 型， 以得到初始 类别； 当初始 类别为第一类别时， 将待分析的睾丸图像和睾丸体积数据进行数据 融合， 以得到融合数据； 将融合数据输入至第二 分类模型， 以得到最终类别； 其中， 第一 分类模型 是采用标记的睾丸图像样本对第一深度神经网 络模型进行学习训练得到的； 第二分类模型是采 用标记的融合数据样本对第二深度神经网络模 型进行学习训练得到的， 融合数据样本是通过对 睾丸图像样本和睾丸体积数据样本进行数据融 合生成的。 该方法采用深度神经网络模型可以快 速且准确地对睾丸图像进行分类 。 权利要求书2页 说明书11页 附图3页 CN 115222997 A 2022.10.21 CN 115222997 A 1.一种基于深度学习的睾丸图像分类方法， 其特 征在于， 所述方法包括： 获取待分析的睾丸图像和睾丸体积数据； 将所述待分析的睾丸图像输入至第一分类模型， 以得到初始类别； 当所述初始类别为第 一类别时， 将所述待分析的睾丸图像和所述睾丸体积数据进行数 据融合， 以得到融合数据； 将所述融合数据输入至第二分类模型， 以得到最终类别； 其中， 所述第 一分类模型是采用标记的睾丸图像样本对第 一深度神经网络模型进行学 习训练得到的； 所述第二分类模型是采用标记的融合数据样本对第二深度神经网络模型进 行学习训练得到的， 所述融合数据样本是通过对睾丸图像样本和睾丸体积数据样本进 行数 据融合生成的。 2.根据权利要求1所述的方法， 其特 征在于， 训练所述第一分类模型， 包括： 获取睾丸图像样本和睾丸活检样本的组织学评分； 基于所述组织学评分对所述睾丸图像样本进行分类， 以得到第一分类结果； 其中， 所述 第一分类结果包括第一类别和第二类别； 采用第一类别标签对属于第 一类别的睾丸图像样本进行标记， 且采用第 二类别标签对 属于第二类别的睾丸图像样本进行 标记； 分别将采用第一类别标签和第二类别标签标记的所述睾丸图像样本输入至第一深度 神经网络模型， 对所述第一深度神经网络模型的参数进 行调整， 直至收敛， 以得到所述第一 分类模型。 3.根据权利要求2所述的方法， 其特征在于， 所述融合数据样本包括第 一融合数据样本 和第二融合数据样本； 训练所述第二分类模型， 包括： 获取睾丸体积数据样本； 基于所述组织学评分对属于第 一类别的睾丸图像样本再进行分类， 以得到第 二分类结 果； 其中， 所述第二分类结果包括第三类别和第四类别； 分别将属于第三类别的睾丸图像样本和属于第四类别的睾丸图像样本与对应的睾丸 体积数据样本进行 数据融合， 以得到第一融合数据样本和第二融合数据样本； 采用第三类别标签对第 一融合数据样本进行标记， 并采用第四类别标签对第 二融合数 据样本进行 标记； 分别将标记后的第一融合数据样本和第二融合数据样本输入至第二深度神经网络模 型， 对所述第二深度神经网络模型的参数进行调整， 直至收敛， 以得到所述第二分类模型。 4.根据权利要求1 ‑3任一项所述的方法， 其特 征在于， 所述方法还 包括： 当所述初始类别为第二类别时， 将所述第二类别记为 最终类别。 5.根据权利要求4所述的方法， 其特征在于， 所述第 一深度神经网络模型和第 二深度神 经网络模型包括注意力机制的神经网络模型， 所述注意力机制的神经网络模型包括残差卷 积模块和注意力模块， 其中残差卷积模块和注意力模块的数量 为多个。 6.根据权利要求2所述的方法， 其特征在于， 所述基于所述组织学评分对所述睾丸图像 样本进行分类， 以得到第一分类结果， 包括： 将小于第一阈值的组织学评分对应的睾丸图像样本分为第一类别； 将大于或等于第一阈值的组织学评分对应的睾丸图像样本分为第二类别。权　利　要　求　书 1/2 页 2 CN 115222997 A 27.根据权利要求3所述的方法， 其特征在于， 所述基于所述组织学评分对属于第 一类别 的睾丸图像样本再进行分类， 以得到第二分类结果， 包括： 将小于第一阈值且大于第二阈值的组织学评分对应的第一类别的睾丸图像样本分为 第三类类别； 将小于或等于第二阈值的组织学评分对应的第一类别的睾丸图像样本分为第四类类 别。 8.一种基于深度学习的睾丸图像分类装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于获取待分析的睾丸图像和睾丸体积数据； 初始类别获得模块， 用于将所述待分析的睾丸图像输入至第一分类模型， 以得到初始 类别； 数据融合模块， 用于当所述初始类别为第一类别时， 将所述待分析的睾丸图像和所述 睾丸体积数据进行 数据融合， 以得到融合数据； 最终类别确定模块， 用于将所述融合数据输入至第二分类模型， 以得到最终类别； 其中， 所述第 一分类模型是采用标记的睾丸图像样本对第 一深度神经网络模型进行学 习训练得到的； 所述第二分类模型是采用标记的融合数据样本对第二深度神经网络模型进 行学习训练得到的， 所述融合数据样本是通过对睾丸图像样本和睾丸体积数据样本进 行数 据融合生成的。 9.一种终端设备， 其特 征在于， 包括： 存储器； 一个或多个处理器， 与所述存储器耦接； 一个或多个应用程序， 其中， 一个或多 个应用程序被存储在存储器中并被配置为由一个或多个处理器执行， 一个或多个应用程序 配置用于执 行如权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读取存储介质中存储有程序 代码， 所述 程序代码可被处 理器调用执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115222997 A 3