(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127451.2 (22)申请日 2022.09.16 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 孙明斋　叶宇　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于特征解耦的不配对眼底图像的结构保 持性增强方法 (57)摘要 本发明涉及一种基于特征解耦的不配对眼 底图像的结构保持性增强方法， 其方法包括： S1： 获取不成对的原始高质量和低质量眼底图像： IH 和IL， 经过N层编码器， 分别提取各层语义特征； S2： 将第N层的语义特征 和 输入解耦增强模 块QDM， 输出语义特征 和 S3： 将 和 分 别经过N层解码器， 同时解码器和编码器之间使 用跳跃连接保证结构一致性， 输出IL_E和IH_D； 步 骤S4： 采用循环一致性模型， 将IH_D和IL_E再次执 行步骤S1～S3进行质量的交换， 最终得到重建的 高质量眼底图像I'H和低质量眼底图像I'L。 本发 明提供的方法针对眼底 图像的结构信息和质量 信息进行解耦性强化， 并保证结构一 致性。 权利要求书4页 说明书6页 附图3页 CN 115482177 A 2022.12.16 CN 115482177 A 1.一种基于特 征解耦的不配对眼底图像的结构保持性增强方法， 其特 征在于， 包括： 步骤S1： 获取不成对的原始高质量眼底图像IH和原始低质量眼底图像IL， 经过N层编码 器， 分别提取各层眼底图像的语义特征 其中， L和H分别表示低 质量眼底图像和高质量眼底图像， N为所述语义特征的层数； 所述语义特征包含： 本征结构 特征和非本征质量特 征； 步骤S2： 将最高层， 即第N层的语义特征 和 输入解耦增 强模块QDM， 进行解耦性增 强和质量交换， 输出语义特征 和 其中， 为对所述低质量眼底图像语义特征进 行解耦强化和质量增强后的语义特征， 为对所述高质量眼底图像语义特征进行解耦强 化和质量退化后的语义特 征； 步骤S3： 将 和 分别经过N层解码器， 同时， 在第1层到第N ‑1层所述编码器和其对 应的所述解码器之间使用基于实例归一化的跳跃连接I ‑norm‑skip模块来充分利用低级语 义特征中的结构信息， 实例归一化用于剔除所述低级语义特征中的所述非本征质量特征， 同时保留其本征结构特征； 将每层所述编 码器的归一化后的语义特征与其对应的所述解码 器中对应尺寸的特征在通道维度进行拼接后， 最 终得到具有原始低质量眼底图像结构的质 量增强图像IL_E和具有原 始高质量眼底图像结构的质量退化图像IH_D； 步骤S4： 采用循环一致性模型， 将IH_D和IL_E再次执行步骤S1～S3进行质量的交换， 最终 得到重建的高质量眼底图像I'H和低质量眼底图像I'L， 同时， 构建一致性损失 解耦强 化损失 和特征不变损失 对所述循环一 致性模型进行监 督和优化。 2.根据权利要求1所述的基于特征解耦的不配对 眼底图像的结构保持性增强方法， 其 特征在于， 所述步骤S 1： 获取不成对的原始高质量眼底图像IH和原始低质量眼底图像IL， 经 过N层编码器， 分别提取各层 眼底图像的语义特征 其中， L和H 分别表示低质量眼底图像和高质量眼底图像， N为所述语义特征的层数； 所述语义特征包 含： 本征结构特征和非本征质量特 征， 具体包括： 利用基于VGG网络的N层编码器提取IL和IH在不同层次的语义特 征 其中， L和H分别低质量眼底图像和高质量眼底图像， N 为语义特 征的层数； 所述语义特征 包括： 本征结构特征 和非本征质量特征 其中， 所述本征结构 特征 定义为 其中， μ和σ 是按通道的均值和方差， 所述非本征质量特征 定义为 其中M表示批尺寸， C是语义特 征的通道数。 3.根据权利要求2所述的基于特征解耦的不配对 眼底图像的结构保持性增强方法， 其 特征在于， 所述步骤S2： 将 最高层， 即第N层的语义特征 和 输入解耦增强模块QDM， 进行 解耦性增强和质量交换， 输出语义特征 和 其中， 为对所述低质量眼底图像语 义特征进行解耦强化和质量增强后的语义特征， 为对所述高质量眼底图像语义 特征进 行解耦强化和质量退化后的语义特 征， 具体包括：权　利　要　求　书 1/4 页 2 CN 115482177 A 2步骤S21： 将最高层所述语义特征 和 分别输入到QDM模块进行解耦性的增强和质 量的交换： 将非本征质量表征 输入到分类网络中， 其中， 所述分类网络由全连接层和激 活函数RELU组成， 由RELU输出增强的非本征质量特征 和 最后全连接 层的输出向量用二分类交叉熵来进行低质量和高质量的分类， 得到增强后的语义特征 由低质量本征结构特征 和解耦强化的高质量非本征质量特征 组成； 类似的， 退化后的语义特征 由高质量本征结构特征 和解耦 强化后的低质量非本征质量特 征 组成； 质量交换由自适应实例归一 化的方式进行， 如下 所示： 其中， x， y分别代表低质量图像和高质量图像的语义特征， 先通过按通道归一化的方式 剔除本身的非本征质量特征， 再通过赋予新的均值和方差的方式获得新的非本征质量特 征； 步骤S22： 同时， 构建解耦强化损失 由交叉熵损失 和正则化损失 两项组成： 其中， 为最高的第N层的低质量非本征质量特征， 为解耦强化后的非本征质 量特征； 为最高的第N层的高质量非本征质量特征， 为解耦强化后的非本征质量 表征； ||.||2为L2范数。 4.根据权利要求3所述的基于特征解耦的不配对 眼底图像的结构保持性增强方法， 其 特征在于， 所述步骤S3： 将 和 分别经过N层解码器， 同时， 在第1层到第N ‑1层所述编 码器和其对应的所述解码 器之间使用基于实例归一化的跳跃连接I ‑norm‑skip模块来充分 利用低级语义特征中的结构信息， 实例归一化用于剔除所述低级语义特征中的所述 非本征 质量特征， 同时保留其本征结构特征； 将每层所述编码器的归一化后的语义特征与其对应 的所述解码 器中对应尺寸的特征在通道维度进行拼接后， 最 终得到具有原始低质量眼底图 像结构的质量增强图像IL_E和具有原始高质量眼底图像结构 的质量退化图像IH_D， 具体包 括： 步骤S31： I ‑norm‑skip模块通过公式(1)所示实例归一化的方式剔除语义特征中的所 述非本征质量特 征： 其中， Fj为第1层到第 N‑1层眼底图像的语义特征， j∈[ 1,N‑1]； μnc(Fj)表示语义特征按 通道的均值， σnc(Fj)表示语义特征按通道的方差； 二者共同构成所述语义特征的非本征质 量特征；权　利　要　求　书 2/4 页 3 CN 115482177 A 3