(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211189584.2 (22)申请日 2022.09.28 (71)申请人 南京邮电大 学 地址 210046 江苏省南京市栖霞区文苑路9 号 (72)发明人 熊健　王小奇　罗旺　高浩　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 张赏 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/20(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉交互感知双流网络的图像无 参考质量评估方法及装置 (57)摘要 本发明公开了一种基于视觉交互感知双流 网络的图像无参考质量评估 方法及装置， 通过考 虑人眼视觉系统的视觉掩蔽效应提出了三个模 块： 内容感知模块， 失真感知模块和视觉交互模 块。 其中， 内容感知模块采用基于ImageNet预训 练的ResNet50网络用以提取语义特征作为 图像 内容表示； 失真感知模块该模块通过在大规模合 成失真数据集上训练BoTNet以提取图像失真的 表征特征； 视觉交互模块通过基于自注意力机制 的特征融合模块来建模图像内容和失真的视觉 交互关系。 本发 明提出的视觉感知交互网络基于 人眼视觉系统的视觉掩蔽效应， 对图像内容和图 像失真的视觉交互作用进行建模， 能够有效提高 图像感知质量评估性能。 权利要求书2页 说明书7页 附图1页 CN 115457015 A 2022.12.09 CN 115457015 A 1.一种基于 视觉交互感知双流网络的图像无参 考质量评估方法， 其特 征在于， 包括： 对图像进行 预处理； 采用预先训练的内容感知模块对预处 理的图像进行语义特 征提取； 采用预先训练的失真感知模块对预处 理的图像进行失真感知特 征提取； 将提取的图像的语义特征和失真感知特征采用预先训练的视觉交互感知模块进行特 征融合， 得到融合特 征； 基于融合特 征进行图像质量评估， 得到图像质量分数。 2.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 所述对图像进行 预处理， 包括： 将图像裁 剪为统一尺寸。 3.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 预 先训练内容感知模块包括： 采用Imagenet作 为训练集， 输入去除最后的全局平均池化层和全连接层的图像分类网 络ResNet5 0中， 得到ResNet5 0的第t个模块的输出 特征图 将得到的特 征图 各自输入具有1 ×1核、 1×1步长和输出通道大小为ct的卷积层； 将各卷积层的操作结果采用自适应池化层下采样到相同大小； 将自适应池化层的输出 特征进行连接， 作为多尺度的图像 语义特征； 采用Imagenet训练图像分类网络ResNet50的网络权重， 训练完成后， 将ResNet50去除 最后的全局平均池化层和全连接层的模块， 以及所述具有1 ×1核、 1×1步长和输出通道大 小为ct的卷积层和自适应池化层组成的结构作为内容感知模块。 4.根据权利要求3所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 所述输出通道大小ct的取值为： c1＝128， c2＝256， c3＝512， c4＝1152。 5.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 预 先训练失真感知模块包括： 构建失真图像训练样本集； 将每个失真图像训练样本转换为Y CbCr颜色空间作为BoTNet的输入进行训练； 训练完成后， 去除最后的全局平均池化层和线性层， 得到失真感知模块。 6.根据权利要求5所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 所述构建失真图像训练样本集， 包括： 从KADIS‑700K数据库中选取N张原 始图像； 对每张原始图像生成具有30种失真类型、 每种失真类型具有5种失真强度的失真图像 样本； 将150×N个失真图像样本构成失真图像训练样本集； 所述30种失真类型包括： 粉红噪 声、 有损压缩、 对比度变化、 曝光不足、 曝光过度、 以及与KADID ‑10K数据库相同25种失真类 型。 7.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 预 先训练视 觉交互感知模块包括： 采用训练好的内容感知模块提取训练样本的语义特征， 以及采用训练好的失真感知模权　利　要　求　书 1/2 页 2 CN 115457015 A 2块提取训练样本的失真感知特征， 将训练样本的语义特征和失真感知特征连接起来， 得到 F， 其中 cd表示失真感知特征输出通道大小， w和h分别表示输出特征的宽度 和高度； 将F扁平化， 并通 过卷积操作映射到特征序列 其中 l＝w×h为特征 序列的长度， d为特 征序列的尺寸； 将一个可学习的标记 添加到 中， 并添加位置嵌入PE， 得到训练样本的特征 将训练样本的特征依次输入多头自注意力机制的特征融合模块和多层感知器块进行 训练， 最终得到训练好的视 觉交互感知模块。 8.根据权利要求1所述的一种基于视觉交互感知双流网络的图像无参考质量评估方 法， 其特征在于， 所述基于融合特 征进行图像质量评估， 得到图像质量分数， 包括： 对最终得到的融合特 征通过一个全连接层输出质量预测分数。 9.一种基于 视觉交互感知双流网络的图像无参 考质量评估 装置， 其特 征在于， 包括： 内容感知模块， 用于提取图像的语义特 征； 失真感知模块， 用于提取图像的失真感知特 征； 视觉交互模块， 用于对图像的语义特 征和失真感知特 征进行特征融合； 评估模块， 用于基于融合特 征对图像质量进行评估， 得到图像质量分数； 所述内容感知模块采用权利要求1至4任意一项所述的基于视觉交互感知双流网络的 图像无参 考质量评估方法进行 预先训练； 所述失真感知模块采用权利要求5或6所述的基于视觉交互感知双流网络的图像无参 考质量评估方法进行 预先训练； 所述视觉交互模块采用权利要求7所述的基于视觉交互感知双流网络的图像无参考质 量评估方法进行 预先训练。 10.根据权利要求9所述的一种基于视觉交互感知双流网络的图像无参考质量评估装 置， 其特征在于， 所述评估 模块采用全连接层。权　利　要　求　书 2/2 页 3 CN 115457015 A 3