(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175506.7 (22)申请日 2022.09.26 (71)申请人 杭州师范大学 地址 311121 浙江省杭州市余杭区余杭塘 路2318号 (72)发明人 孙军梅　张鑫　李秀梅　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱亚冠 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种采用深监督策略的多尺度特征融合腺 体分割方法 (57)摘要 本发明公开一种采用深监督策略的多尺度 特征融合腺体 分割方法。 本发明所提出的网络采 用编码器 ‑解码器网络结构， 在特征提取与解析 的相邻卷积 部分添加了残差连接， 并且在编码层 到解码层的拼接路径上使用了坐标并行注意力 机制及密集空洞卷积块， 抑制病理图像中的噪 声， 引导网络关注图像的显著区域并且可以获取 多尺度图像特征。 同时采用 深监督策略， 将各解 码层的输出转换为预测图， 采用基于像素分类、 区域、 边缘分割的组合损失函数， 提前与标签计 算损失， 在网络的浅层就加以监督约束， 最终将 各尺度不一的预测图进行融合， 互补缺失值， 令 网络达到 更好的分割效果， 有效提高了对腺体分 割的准确率。 权利要求书3页 说明书9页 附图3页 CN 115457057 A 2022.12.09 CN 115457057 A 1.一种采用深监督策略的多尺度 特征融合腺体分割方法， 其特征在于该方法包括以下 步骤： 步骤一、 获取腺体的数字病理图像； 步骤二、 对腺体的数字病理图像和标签预处 理， 作为训练数据； 步骤三、 神经网络搭建和训练； 3‑1.搭建采用深监 督策略的多尺度特 征融合腺体分割网络 所述采用深监 督策略的多尺度特 征融合腺体分割网络包括编码器 ‑解码器网络结构； 所述编码器包括5个逐级串联的残差卷积块ResConvB lock L1‑L5； 所述解码器包括4个 逐级串联的残差卷积块ResCo nvBlock L6‑L9； 残差卷积块ResConvBlock  L1‑L9的结构相同， 均是将编码、 解码中的卷积操作进行残 差处理， 将各层的输入部分进行跳跃 连接到各层的输出部分； 其中： 所述残差卷积块ResConvBlock  L1‑L3分别通过坐标并行注意力模块CPA连接到残差卷 积块ResConvBlock  L7‑L9， 使用坐标并行注意力对当前编码层输出的特征图进行处理， 得 到赋予注意力权 重的新特 征图； 所述残差卷积块ResConvBlock  L4使用密集空洞卷积块DAC连接到残差卷积块 ResConvBlock L6， 对当前编码层输出的特 征图进行多尺度特 征提取； 所述残差卷积块ResConvBlock  L5对当前编码层输出的特征图进行残差处理， 连接到 残差卷积块ResCo nvBlock L6； 所述残差卷积块 ResConvBlock  L6‑L9的四个输出均转换为四张分割预测图Sup1、 Sup2、 Sup3、 Sup4， 将四张分割预测图Sup1、 Sup2、 Sup3、 Sup4进行融合、 互补缺失值得到分割预测图 Sup5； 并使用组合损失函数对分割预测图Sup1、 Sup2、 Sup3、 Sup4、 Sup5进行监督约束， 实现对 模型参数进行反向传播， 完成更新模型参数； 3‑2.模型训练 将步骤二预处理后图像数据输入到步骤3 ‑1搭建的采用深监督策略的多尺度特征融合 腺体分割网络中进行训练； 通过组合损失函数计算出各分割 预测图与标签的损失值； 通过 损失值反向传播， 网络迭代更新 参数不断减小损失值， 直到 达到预设的迭代次数； 步骤四、 使用步骤三所搭建并训练完成的采用深监督策略的多尺度特征融合腺体分割 网络， 实现 腺体分割。 2.根据权利要求1所述方法， 其特征在于残差卷积块ResConvBlock  L2‑L5的输入均为 上一层残差卷积块ResCo nvBlock通过2*2最大池化进行 下采样操作的特 征图。 3.根据权利要求1所述方法， 其特征在于残差卷积块ResConvBlock  L1‑L9结构相同， 均 依次包括： 1)kernel  size＝3x3， st ride＝1， 采用same  padding的卷积核； 2)BatchNorm2d归一 化层； 3)Relu激活函数； 4)kernel size＝3x3， st ride＝1， 采用same  padding的卷积核； 5)BatchNorm2d归一 化层； 6)Relu激活函数；权　利　要　求　书 1/3 页 2 CN 115457057 A 27)原始输入跳跃 连接到两次卷积输出， 通过1x1的卷积调整维度实现。 4.根据权利要求1所述方法， 其特征在于所述坐标并行注意力模块CPA具体计算过程 为： 将输入特征图分别传送至软池化分支与平均值池化分支， 再在这两个分支中分别沿着 宽W、 高H的方向对特征图进行池化聚合及通道压缩操作， 得到新的特征向量Fsoftpool和 Favgpool； 将特征向量Fsoftpool和Favgpool进行相加融合得到特 征向量Ftotal； 沿着空间维度将特 征向量Ftotal拆解成两个坐标位置相关的特 征向量Fh和Fw； 调整上述两个坐标位置相关的特征向量的通道数， 并进行激活， 最后将输入特征图 Input与高度方向的权重Weighth、 宽度方向的权重Weightw相乘， 得到赋予注意力权重的特 征图Output。 5.根据权利要求1所述方法， 其特征在于所述密集空洞卷积块包括4个分支， 在各分支 中使用空洞卷积来扩大模型 的感受野， 最后经过4个分支进行特征提取后得到的特征图与 原始输入特 征图相加； 其中： 第1个分支包括1个卷积块， 该卷积块的卷积核大小为3x3， 其膨胀率设置为1， 第1个分 支的感受野为3； 第2个分支包括依次级联的2个卷积块， 第1个卷积块的卷积核大小为3x3， 其膨胀率设 置为3， 第2个卷积块的卷积核大小为1x1， 其 膨胀率设置为1， 第2个分支的感受野为7； 第3个分支包括依次级联的3个卷积块， 第1个卷积块的卷积核大小为3x3， 其膨胀率设 置为1， 第2个卷积块的卷积核大小为3x3， 其膨胀率设置为3， 第3个卷积块的卷积核大小为 1x1， 其膨胀率设置为1， 第3个分支的感受野为9； 第4个分支包括依次级联的4个卷积块， 第1个卷积块的卷积核大小为3x  3， 其膨胀率设 置为1， 第2个卷积块的卷积核大小为3x3， 其膨胀率设置为3， 第3个卷积块的卷积核大小为 3x3， 其膨胀率设置为5， 第4个卷积块的卷积核大小为1x1， 其膨胀率设置为1， 第4个的感受 野大小为19。 6.根据权利要 求1所述方法， 其特征在于 所述组合损失函数 用于计算出各 分割预测图与标签的损失值， 见式(1)所示： 其中 表示分割预测图Supk与标签的二值交叉熵损失； 表示分割预测图Supk 与标签的活动轮廓损失； 其中N表示图像像素的总数目， 表示分割预测图Supk的第n个像素对应的真实标 签， 表示分割预测图Supk的第n个像素对应的预测结果； 分割是逐像素的分类任务， 因此 逐像素计算损失：权　利　要　求　书 2/3 页 3 CN 115457057 A 3