(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138097.3 (22)申请日 2022.09.19 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 薛梦凡　陈怡达　黄海亮　朱闻韬　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) A61B 6/00(2006.01) G06T 7/90(2017.01) G06V 10/25(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于特征解耦的病理图像特征提取器训练 方法及装置 (57)摘要 本发明公开了一种基于特征解耦的病理图 像特征提取器训练方法及装置， 该训练方法通过 构建特征解耦网络， 同时设置六个子损失函数对 网络进行约束训练， 其中特征解耦网络包含多个 生成对抗网络， 可以将病理图像解耦分解成颜色 信息特征和组织结构信息特征， 在保留纯净无杂 质的组织结构信息的同时消除人为造成的染色 差异对网络性能的负面影 响。 设置的损失函数最 大程度的保证颜色编码器和组织结构编码器特 征提取的针对性。 训练获得的特征提取器可以覆 盖不同病理图像的多个颜色域并引入不同域的 颜色变化， 适应来自不同中心的病理图像， 具有 更高的泛化 性能。 权利要求书3页 说明书10页 附图4页 CN 115222752 A 2022.10.21 CN 115222752 A 1.一种基于特征解耦的病理图像特征提取器训练方法， 其特征在于， 该方法具体包括 以下步骤： 构建训练数据集， 所述训练数据集的每一样本包括两张基于病理图像分割获取的图像 块； 构建用于特 征提取器训练的特 征解耦网络， 所述特 征解耦网络包括： 组织结构编码器 Es， 用于依据输入的图像块编码获得组织结构信息特 征； 颜色编码器 Ec， 用于依据输入的图像块编码获得颜色信息特 征； 组织结构判别器 Ds， 用于判别输入的组织结构信息特 征是否在同一个域中； 生成器G， 用于将输入的组织结构信息特 征和颜色信息特 征重新生成图像块； 域判别器 D， 用于区分 真实图像和生成的图像是否处于同一个域； 基于训练数据集， 将每一样本作为特征解耦网络的输入， 以最小化损 失函数为目标进 行训练优化特征解耦网络的参数， 训练好的组织结构编码器即为病理图像特征提取器； 所 述损失函数 Ltotal表示如下： Ltotal=  ‑λadv,sLadv,s‑λadv, domain Ladv,domain+λrecon Lrecon+λlatent,s Llatent,s+λlatent,c Llatent,c +λccLcc 其中，Ladv,s表示组织结构对 抗性损失， 包括组织结构编码器 Es和组织结构判别器 Ds的对 抗损失； Ladv,domain表示域对抗损失， 包括原始样本两张图像块 x和y对应的X域的域对抗损失和 Y 域的域对抗损失； Lrecon表示每一原 始样本两张图像块的自重建损失； Llatent,s表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信 息一致性损失； Llatent,c表示变换图像 块与对应的原始样本图像 块的颜色信息特征的颜色信 息一致性损失； 所述变换图像块是通过交换样本 中两张图像块的颜色信 息特征后基于生成器 G重新生 成的； Lcc表示变换图像块经过组织结构编码器 Es、 颜色编码器 Ec编码和生成器 G重新生成的 图 像块与原 始样本的图像块的循环一 致性损失； λadv,s、λadv, domain、λrecon、λlatent,s、λlatent,c和λcc分别表示对应的损失的权 重。 2.根据权利要求1所述的方法， 其特 征在于， 所述组织结构对抗 性损失表示如下： Ladv,s(Es, Ds) = 𝔼x[1/2log Ds(Es(x)) + 1/2log(1 ‑Ds(Es(x)))] + 𝔼y[1/2log Ds (Es(y)) + 1/2log(1‑Ds(Es(y)))] 其中Es(∙)表示组织结构编码器 Es的输出，Ds(∙)表示组织结构判别 器Ds的输出，x和y表 示每一样本的两张图像块； 𝔼[∙]为数学期望。 3.根据权利要求1所述的方法， 其特征在于， 自重建损失 Lrecon、 域对抗损失 Ladv,domain、 颜 色信息一致性损失 Llatent,c和组织结构信息一致性损失 Llatent,s采用BCE损失函数或MSE损失 函数。 4.根据权利要求1所述的方法， 其特 征在于， 所述循环一 致性损失Lcc表示如下： Lcc(Ec, Es, G) = 𝔼x,y[||G(Es(v), Ec(u))  ‑x||1+||G(Es(u), Ec(v))‑ y||1] 其中Es(∙)表示组织结构编码器 Es的输出，x和y表示每一样本的两张图像块； 𝔼[∙]为数权　利　要　求　书 1/3 页 2 CN 115222752 A 2学期望， || ∙||1表示计算L1范数； G(∙)表示生成器 G的输出；Ec(∙)表示颜色编码器 Ec的输出； u和v表示变换图像块， 表示如下： u= G(Es(y), Ec(x)), v= G(Es(x), Ec(y))。 5.一种基于特 征解耦的病理图像特 征提取器训练装置， 其特 征在于， 包括： 数据获取模块， 用于构建训练数据集， 所述训练数据集的每一样本包括两张基于病理 图像分割获取的图像块； 特征解耦网络构建模块， 用于构建用于特征提取器训练的特征解耦网络， 所述特征解 耦网络包括： 组织结构编码器 Es， 用于依据输入的图像块编码获得组织结构信息特 征； 颜色编码器 Ec， 用于依据输入的图像块编码获得颜色信息特 征； 组织结构判别器 Ds， 用于判别输入的组织结构信息特 征是否在同一个域中； 生成器G， 用于将输入的组织结构信息特 征和颜色信息特 征重新生成图像块； 域判别器 D， 用于区分 真实图像和生成的图像是否处于同一个域； 训练模块， 用于基于训练数据集， 将每一样本作为特征解耦 网络的输入， 以最小化损失 函数为目标进 行训练优化特征解耦网络的参数， 训练好的组织结构编 码器即为病理图像特 征提取器； 所述损失函数 Ltotal表示如下： Ltotal=  ‑λadv,sLadv,s‑λadv, domain Ladv,domain+λrecon Lrecon+λlatent,s Llatent,s+λlatent,c Llatent,c +λccLcc 其中，Ladv,s表示组织结构对抗性损失， 包括原始样本两张图像块 x和y所属的域和组织 结构判别器 Ds判别的域之间的损失； Ladv,domain表示域对抗损失， 包括原始样本两张图像块 x和y对应的X域的域对抗损失和 Y 域的域对抗损失； Lrecon表示每一原 始样本两张图像块的自重建损失； Llatent,s表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信 息一致性损失； Llatent,c表示变换图像 块与对应的原始样本图像 块的颜色信息特征的颜色信 息一致性损失； 所述变换图像块是通过交换样本 中两张图像块的颜色信 息特征后基于生成器 G重新生 成的； Lcc表示变换图像块经过组织结构编码器 Es、 颜色编码器 Ec编码和生成器 G重新生成的 图 像块与原 始样本的图像块的循环一 致性损失； λadv,s、λadv, domain、λrecon、λlatent,s、λlatent,c和λcc分别表示对应的损失的权 重。 6.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑4任一项所述的 一种基于特 征解耦的病理图像特 征提取器训练方法。 7.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器 执行时实现如权利要求 1‑4任一项所述的一种基于特征解耦的病理图像特征提取器训练方 法。 8.一种病理图像分类系统， 其特 征在于， 包括： 数据预处 理单元， 用于将待分类病理图像分割成多个图像块；权　利　要　求　书 2/3 页 3 CN 115222752 A 3