(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176230.4 (22)申请日 2022.09.26 (71)申请人 蚌埠医学院第一附属医院 地址 233099 安徽省蚌埠市长淮路287号 (72)发明人 李林　王雪　杜欢　李阳　孙医学　 祝子祎　都晓英　解郑　张盼盼　 张艳　张顺花　胡阳慧　刘德顺　 沈东　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/62(2022.01) G06V 10/20(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 常规超声和超声造影图像乳腺肿瘤识别方 法及装置 (57)摘要 本发明公开了一种常规超声和超声造影图 像乳腺肿瘤识别方法及装置， 一方面， 通过双路 卷积神经网络(双路深度卷积神经网络)分别处 理二维信息和三维信息， 并对处理获得的两类特 征进行融合， 从而获得更高层次的特征表达， 有 利于提升识别结果的准确性； 并且， 利用双路卷 积神经网络提取到的互补特征， 增强了卷积神经 网络的拟合能力和提取特征表达的性能， 使 得网 络模型具有较强的泛化能力。 权利要求书2页 说明书6页 附图3页 CN 115482229 A 2022.12.16 CN 115482229 A 1.一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特 征在于， 包括： 将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视频图像作为一组样本， 收集 若干组经 过标注的样本， 构成训练样本集； 构建识别网络模型， 并使用所述训练样本集进行训练； 所述识别网络模型包括： 二维卷 积网络、 三 维卷积网络、 特征融合模块与分类器， 每一组样本中的超声图像输入至二 维卷积 网络， 超声造影视频图像输入至三维卷积网络， 二维卷积网络与三维卷积网络输出 的二维 特征与三 维特征经所述特征融合模块融合后由所述分类器输出预测结果， 结合所述预测结 果与样本对应的标注计算损失函数并对所述识别网络模型进行训练； 将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至训练后的识别 网络模型， 获得识别结果。 2.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征在 于， 所述识别网络模 型还包括图像预 处理模块， 其输入为超声图像， 对输入的超声图像进 行 尺度校准并去除伪影后输入至所述 二维卷积网络 。 3.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征在 于， 该方法还包括： 对所述训练样 本集进行数据增强， 即对每一组样 本中的两类图像进行变 换， 同时对标注数据进行相 应的变换， 再利用增强后的训练样本集对所述识别网络模型进 行训练； 其中， 变换包括水平翻转、 扭曲、 旋转、 切割中的单个操作或多个操作的组合。 4.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征在 于， 结合所述预测结果与样本对应的标注计算损失函数包括： 所述预测结果与样本对应的标注均包含两类信息， 一类为肿瘤类别， 另一类为种类位 置； 计算损失函数包含两部分， 第一部分为定位损 失， 即预测结果中肿瘤位置与标注中肿 瘤位置的损失； 第二部分为分类损失， 即预测结果中肿瘤类别与标注中肿瘤类别的损失。 5.根据权利要求1所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征在 于， 该方法还包括： 引入迁移学习的方式， 即所述二 维卷积网络与三 维卷积网络均使用预训 练模型， 训练时， 对预训练模型的参数进行微调。 6.根据权利要求1或5所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征 在于， 所述二维卷积网络包括： 七部分卷积模块、 五部分残差卷积模块、 两个拼接模块以及 三个张量 解码模块； 其中： 第一部分卷积模块与五部分残差卷积模块依次连接， 第 一部分卷积模块的输入为所述 二维卷积网络的输入； 第三部分残差卷积模块中残差卷积模块的数目为多个， 且依次连接， 最后一个残差卷 积模块包含两个输出， 第一输出连接第四部 分残差卷积模块的输入， 第二输出、 第一拼接模 块、 第二部分卷积模块、 第三部分卷积模块以及第一张量 解码模块依次连接； 第四部分残差卷积模块中残差卷积模块的数目为多个， 且依次连接， 第一个残差卷积 模块的输入为第四部分残差卷积模块的输入， 最后一个残差卷积模块包含两个输出， 第一 输出连接第五部分残差卷积模块的输入， 第二输出、 第二拼接模块、 第四部分卷积模块、 第 五部分卷积模块以及第二张量解码模块依次连接； 第四部 分卷积模块的输出还连接所述第 一拼接模块；权　利　要　求　书 1/2 页 2 CN 115482229 A 2第五部分残差卷积模块、 第六部分卷积模块、 第七部分卷积模块以及第三张量解码模 块依次连接； 第五部 分残差卷积模块中残差卷积模块的数目为多个， 且依次连接， 第一个残 差卷积模块的输入为第五部 分残差卷积模块的输入， 最后一个残差卷积模块的输出为第五 部分残差卷积模块的输出； 将三个张量 解码模块的输出 结果融合在一 起作为二维卷积网络的输出。 7.根据权利要求1或5所述的一种常规超声和超声造影图像乳腺肿瘤识别方法， 其特征 在于， 所述 三维卷积网络包括： 多个三维卷积层、 多个池化层与多个全连接层； 其中， 三维卷积层与池化层数量相同， 三维卷积层与池化层交替设置， 所有全连接层依 次设置， 第一个三维卷积层的输入为所述三维卷积网络的输入， 最后一个池化层与第一个 全连接层连接， 最后一个全连接层的输出为所述 三维卷积网络的输出。 8.一种常规超声和超声造影图像乳腺肿瘤识别装置， 其特征在于， 基于权利要求1～7 任一项所述方法实现， 系统包括： 训练样本集构造单元， 用于将配套的包含乳腺肿瘤的超声图像和对应的和超声造影视 频图像作为 一组样本， 收集若干组经 过标注的样本， 构成训练样本集； 模型构建与训练单元， 用于构建识别网络模型， 并使用所述训练样本集进行训练； 所述 识别网络模型包括： 二维卷积网络、 三维卷积网络、 特征融合模块与分类器， 每一组样本中 的超声图像输入至二维卷积网络， 超声造影视频图像输入至三维卷积网络， 二维卷积网络 与三维卷积网络输出 的二维特征与三维特征经所述特征融合模块融合后由所述分类器输 出预测结果， 结合所述预测结果与样本对应的标注计算损失函数并对所述识别网络模型进 行训练； 识别单元， 用于将待识别的包含配套的超声图像和对应的和超声造影视频图像输入至 训练后的识别网络模型， 获得识别结果。 9.一种处理设备， 其特征在于， 包括： 一个或多个处理器； 存储器， 用于存储一个或多个 程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1～7任一项所述的方法。 10.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行 时实现如权利要求1～7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115482229 A 3