(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211190613.7 (22)申请日 2022.09.28 (71)申请人 百度在线网络技 术(北京)有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦三层 (72)发明人 崔东林　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 阎敏　王姗姗 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 视频内容的质量评价方法、 网络训练方法和 装置 (57)摘要 本公开提供了视频内容的质量评价方法、 网 络训练方法和装置， 涉及人工智 能技术领域， 尤 其涉及大数据、 深度学习和智能推荐等技术领 域。 具体实现方案为： 获取目标视频的多模态特 征； 以及； 获取目标视频的参考信息的信息 特征； 参考信息包括创作目标视频的账号信息和/或目 标视频的操作记录； 基于多模态特征和信息特 征， 确定目标视频的内容质量。 本公开使用视频 信号的多模态特征和视频的离散信息的信息特 征进行质量评价， 实现了从多个角度全面的对视 频内容质量进行评价， 能够得到准确的视频质量 评价结果。 权利要求书4页 说明书12页 附图5页 CN 115496734 A 2022.12.20 CN 115496734 A 1.一种视频内容的质量评价方法， 包括： 获取目标视频的多模态特 征； 以及； 获取所述目标视频的参考信 息的信息特征； 所述参考信 息包括创作 所述目标视频的账 号信息和/或所述目标视频的操作记录； 基于所述多模态特 征和所述信息特 征， 确定所述目标视频的内容质量。 2.根据权利要求1所述的方法， 其中， 所述获取目标视频的多模态特 征， 包括： 获取以下至少两种特征分别作为待融合特征： 所述目标视频中多帧图像各自的图像特 征、 所述目标视频的视频 特征、 所述目标视频的文本信息的文本特 征； 将获取的至少两种待融合特 征进行融合处 理， 得到所述目标视频的多模态特 征。 3.根据权利要求2所述的方法， 其中， 获取目标视频中多帧图像各自的图像特 征， 包括： 从所述目标视频中提取 出多帧图像； 将每帧图像分别输入基于图像的掩码自动编码网络MAE， 得到每帧图像分别对应的初 始图像特 征； 将每帧图像的初始图像特征分别输入第 一全连接网络的特征提取模块， 得到每帧图像 的图像特 征， 其中， 所述第一全连接网络是以完成图像质量评价 为训练任务进行训练的。 4.根据权利要求2或3所述的方法， 其中， 获取 所述目标视频的视频 特征， 包括： 将所述目标视频的帧序列， 依序输入基于视频的掩码自动编码网络MAE， 得到所述目标 视频的初始视频 特征； 将所述初始视频特征输入第 二全连接网络的特征提取模块， 得到所述目标视频的视频 特征； 其中， 所述第二全连接网络是以完成视频内容质量评价 为训练任务进行训练的。 5.根据权利要求2 ‑4中任一项所述的方法， 其中， 获取所述目标视频的文本信 息的文本 特征， 包括： 提取所述目标视频的视频帧中包括的第一文本信息； 以及， 获取所述目标视频的音频中的第二文本信息； 对所述第一文本信息和所述第二文本信息进行 特征提取， 得到所述文本特 征。 6.根据权利要求1 ‑5中任一项所述的方法， 所述账号信 息包括以下中的至少一种： 粉丝 数、 作品数、 是否为优质作者； 所述操作记录包括以下中的至少一种： 视频的点赞 数、 点踩数、 转发数、 评论。 7.根据权利要求1 ‑6中任一项所述的方法， 还 包括： 提取所述目标视频的封面质量特 征； 所述基于所述多模态特 征和所述信息特 征， 确定所述目标视频的内容质量， 包括： 将所述多模态特征、 所述信息特征和所述封面质量特征， 输入基于注意力的质量评价 网络， 得到所述目标视频的内容质量。 8.一种神经网络训练方法， 包括： 将样本图像输入基于图像的掩码自动编码网络MAE， 得到所述样本图像的初始图像特 征； 将所述样本图像的初始图像特征输入第 一全连接网络的特征提取模块， 得到样本图像 的图像特 征； 采用所述第 一全连接网络的分类模块对样本图像的图像特征进行分类处理， 得到样本权　利　要　求　书 1/4 页 2 CN 115496734 A 2图像的内容质量； 基于样本图像的内容质量和样本图像的质量标签确定损失； 基于所述损失调整所述第一全连接网络的特 征提取模块和分类模块的网络参数； 其中， 所述第 一全连接网络提取的目标视频的图像特征用于构建目标视频的多模态特 征， 所述多模态特 征用于对所述目标视频进行内容质量评价。 9.一种神经网络训练方法， 包括： 将样本视频输入基于视频的掩码自动编码网络MAE， 得到所述样本视频的初始视频特 征； 将样本视频的初始视频特征输入第 二全连接网络的特征提取模块， 得到样本视频的视 频特征； 采用所述第 二全连接网络的分类模块对样本视频的视频特征进行分类处理， 得到样本 视频的内容质量； 基于样本 视频的内容质量和样本 视频的质量标签确定损失； 基于所述损失调整所述第二全连接网络的特 征提取模块和分类模块的网络参数； 其中， 所述第 二全连接网络提取的目标视频的视频特征用于构建目标视频的多模态特 征， 所述多模态特 征用于对所述目标视频进行内容质量评价。 10.一种视频内容的质量评价装置， 包括： 获取模块， 用于获取目标视频的多模态特征； 以及； 获取所述目标视频的参考信 息的信 息特征； 所述参考信息包括创作所述目标视频的账号信息和/或所述目标视频的操作记录； 评价模块， 用于基于所述多模态特 征和所述信息特 征， 确定所述目标视频的内容质量。 11.根据权利要求10所述的装置， 其中， 执行所述获取目标视频的多模态特征， 所述获 取模块用于： 获取以下至少两种特征分别作为待融合特征： 所述目标视频中多帧图像各自的图像特 征、 所述目标视频的视频 特征、 所述目标视频的文本信息的文本特 征； 将获取的至少两种待融合特 征进行融合处 理， 得到所述目标视频的多模态特 征。 12.根据权利要求11所述的装置， 其中， 执行获取目标视频中多帧图像各自的图像特 征， 所述获取模块用于： 从所述目标视频中提取 出多帧图像； 将每帧图像分别输入基于图像的掩码自动编码网络MAE， 得到每帧图像分别对应的初 始图像特 征； 将每帧图像的初始图像特征分别输入第 一全连接网络的特征提取模块， 得到每帧图像 的图像特 征， 其中， 所述第一全连接网络是以完成图像质量评价 为训练任务进行训练的。 13.根据权利要求11或12所述的装置， 其中， 执行获取所述目标视频的视频特征， 所述 获取模块用于： 将所述目标视频的帧序列， 依序输入基于视频的掩码自动编码网络MAE， 得到所述目标 视频的初始视频 特征； 将所述初始视频特征输入第 二全连接网络的特征提取模块， 得到所述目标视频的视频 特征； 其中， 所述第二全连接网络是以完成视频内容质量评价 为训练任务进行训练的。 14.根据权利要求11 ‑13中任一项所述的装置， 其中， 执行获取所述目标视频的文本信权　利　要　求　书 2/4 页 3 CN 115496734 A 3