(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211210771.4 (22)申请日 2022.09.30 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 叶娟　王琳艳　杨泽华　宋思远　 王亚奇　黄封博　潘新宇　练慧　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习的鳞状上皮肿瘤细胞图片自 动分类分割方法 (57)摘要 本发明公开了一种基于深度学习的鳞状上 皮肿瘤细胞图片自动分类分割方法。 方法包括： 获得增强切片图片集； 构建训练图像集； 构建域 自适应细胞核多分类分割网络； 将训练图像集输 入细胞核分类 分割网络中进行第一轮训练， 获得 预训练域自适应细胞核多分类分割网络； 将增强 切片图片集和训练图像集输入中进行第二轮训 练， 训练完成的域自适应细胞核多分类分割网 络； 将待分类 分割鳞状上皮细胞肿瘤切片图片输 入训练完成的域自适应细胞核多分类分割网络 中处理， 实现对待分类分割鳞状上皮细胞肿瘤切 片图片的自动分类 分割。 本发明方法能够有效的 提取鳞状上皮肿瘤细胞图像特征， 实现了对图像 中各个细胞的细胞核的自动分类分割， 提高了图 像中的细胞的识别准确率。 权利要求书2页 说明书6页 附图3页 CN 115423802 A 2022.12.02 CN 115423802 A 1.一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法， 其特征在于： 包括 如下步骤： 步骤1)采集若干张鳞状上皮细胞肿瘤切片图片， 将各张鳞状上皮细胞肿瘤切片图片进 行预处理标注后均匀分割， 获得各张标注鳞状上皮细胞肿瘤切片图片并构建标注切片图片 集； 将标注切片图片集进行 数据增强处 理， 获得增强切片图片集； 步骤2)获取CoNSeP数据集中的若干鳞状上皮细胞肿瘤切片图片及其掩膜， 将获取的 CoNSeP数据集中的各张鳞状上皮细胞肿瘤切片图片及其掩膜进行步骤1)中的相同的数据 增强处理后构建训练图像集； 步骤3)构建域自适应细胞核多分类分割网络， 域自适应细胞核多分类分割网络包括细 胞核分类分割网络和两个域自适应网络DANet， 细胞核分类分割网络包括输入层、 分类分 支、 分割分支和回归分支， 输入层分别连接分类分支、 分割分支和回归分支， 分类分支和分 割分支分别连接 两个域自适应网络DANet； 步骤4)将训练图像集输入域自适应细胞核多分类分割 网络的细胞核分类分割 网络中 进行第一轮训练， 在第一轮训练中获取细胞核分类分割网络的损失值， 通过反向传播法将 整体损失值反向传播至细胞核分类分割网络中， 并通过梯度下降法更新细胞核分类分割网 络的网络参数， 同时采用ADAM优化器优化细胞核分类分割网络， 最终获得预训练域 自适应 细胞核多分类分割网络； 步骤5)将增强切片图片集和训练图像集输入预训练域自适应细胞核多分类分割 网络 中进行第二轮训练， 在第二轮训练中计算两个域自适应网络DANet的输出结果的二分类交 叉熵损失， 同时采用ADAM优化器优化预训练域 自适应细胞核多分类分割网络， 直至二分类 交叉熵损失小于预设值完成第二轮训练， 获得训练完成的域自适应细胞核多分类分割网 络； 步骤6)获取待分类分割鳞状上皮细胞肿瘤切片图片， 将待分类分割鳞状上皮细胞肿瘤 切片图片 输入训练完成的域自适应细胞核多分类分割网络中处理， 处理后输出待分类分割 鳞状上皮细胞肿瘤切片图片中的各个细胞的细胞核的分割结果和类别， 实现对待分类分割 鳞状上皮细胞肿瘤切片图片的自动分类分割。 2.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的步骤1)中， 将各张鳞状上皮细胞肿瘤切片图片进 行预处理标注后分 割并统一至预设尺寸， 具体为将 每张鳞状上皮细胞肿瘤切片图片中的每个细胞的细胞核进 行类别和轮廓的标注， 将标注好的每张鳞状上皮细胞肿瘤切片图片进 行均匀切割为若干尺 寸相同的正方 形的标注鳞状上皮细胞肿瘤切片图片。 3.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的鳞状上皮细胞肿瘤切片图片 中的每个细胞的细胞类别具体为上皮 细胞、 梭形细胞、 炎症细胞以及其 他细胞。 4.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的步骤1)中， 将标注切片图片集进行数据增强处理， 具体为将标注切 片图片集中的每张标注鳞状上皮细胞肿瘤切片图片均进行数据增强处理， 数据增强处理包 括仿射变换、 随机裁剪大小并放缩为原大小、 水平和垂直翻转、 高斯模糊以及对比度增强处 理， 每张标注鳞状上皮细胞肿瘤切片图片分别经过各种数据增强处理后获得若干张增强鳞权　利　要　求　书 1/2 页 2 CN 115423802 A 2状上皮细胞肿瘤切片图片， 标注切片图片集 获得的各张增强鳞状上皮细胞肿瘤切片图片构 成增强切片图片集。 5.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的步骤3)中， 域自适应细胞核多分类分割网络的细胞核分类分割网络 的输入层 包括依次连接的第一7 ×7卷积、 三个第一残差模块、 4个第二残差模块、 6个第三残 差模块、 3个第四残差模块和第一1 ×1卷积； 细胞核分类分割网络的分类分支、 分割分支和 回归分支的结构均相同， 包括依次连接的第一上采样模块、 第一5 ×5卷积、 8个第一密集模 块、 第二1 ×1卷积、 第二上采样模块、 第二5 ×5卷积、 4个第二密集模块、 第三1 ×1卷积、 第三 上采样模块、 第三5 ×5卷积和第四1 ×1卷积； 细胞核分类分割网络的输入层的第一1 ×1卷 积的输出分别作为分类分支、 分割分支和回归分支的第一上采样模块的输入； 分类分支和 分割分支的第四1 ×1卷积的输出分别作为两个域自适应网络DANet的输入； 两个域自适应 网络DANet的结构均相同， 域自适应 网络DANet包括依次连接的第二7 ×7 卷积、 第五残差模块、 第六残差模块、 第七残差模块和第八残差模块， 第五残差模块、 第六残 差模块、 第七残差模块和第八残差模块的输出进行拼接处理后作为域自适应网络DANet的 输出。 6.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的步骤5)中， 在第二轮训练中计算两个域 自适应网络DANet的输出结 果的二分类交叉熵损失， 具体为针对每个域自适应网络DA Net， 通过多尺度损失函数计算增 强切片图片集经域自适应细胞核多分类分割网络处理后在域自适应网络DA Net中的各个输 出结果以及训练图像集经域自适应细胞核多分类分割网络处理后在域自适应网络DA Net中 的各个输出结果之 间的二分类交叉熵损失， 直至二分类交叉熵损失小于预设值完成第二轮 训练。 7.根据权利要求1所述的一种基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方 法， 其特征在于： 所述的步骤6)中， 处理后输出待分类分割鳞状上皮细胞肿瘤切片图片中的 各个细胞的分割结果和类别， 具体为通过域自适应细胞核多分类分割网络的细胞核分类分 割网络的分类分支连接的一个域自适应网络DA Net输出待分类 分割鳞状上皮细胞肿瘤切片 图片的分类图像， 分类图像中标记出各个细胞的细胞类别； 通过分割分支连接的一个域自 适应网络DANet输出待分类分割鳞状上皮细胞肿瘤切片图片的分割图像， 分割图像中标记 出所有的细胞核 所在的像素点位置； 通过回归分支输出待分类分割鳞状上皮细胞肿瘤切片 图片的回归图像， 针对每个细胞的细胞核， 回归图像包括水平距离图和垂直距离图， 水平距 离图和垂直距离图中分别标记出细胞核所在的像素点位置距离细胞核质心的水平和垂直 距离， 实现各个细胞核的区分， 根据输出的分类图像、 分割图像和回归图像实现对待分类分 割鳞状上皮细胞肿瘤切片图片的自动分类分割。权　利　要　求　书 2/2 页 3 CN 115423802 A 3