(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211220117.1 (22)申请日 2022.10.08 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 于鲲　王源　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 袁媛 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/54(2022.01)G06V 10/26(2022.01) G06T 7/00(2017.01) (54)发明名称 深度伪造 检测方法及对应装置 (57)摘要 本申请实施例公开了一种深度伪造检测方 法及对应装置， 涉及机器学习技术领域。 本申请 实施例提供的技术方案中， 在空间域和频域两方 面对待检测图像进行特征提取， 并对空间特征表 示和频率特征表示进行融合 以检测待检测图像 是否存在伪造对象。 在提取频率特征时， 充分考 虑了待检测图像中伪造对象区域和其他区域在 不同粒度的频率上所体 现出的频率差异， 利用待 检测图像中的对象区域对粗粒度的频率特征表 示和细粒度的频率特征表示进行融合得到待检 测图像的频率特征表示， 从而提高深度伪造检测 的准确度。 权利要求书4页 说明书27页 附图7页 CN 115311525 A 2022.11.08 CN 115311525 A 1.一种深度伪造检测方法， 其特 征在于， 所述方法包括： 获取待检测图像； 将所述待检测图像输入深度伪 造检测模型， 获取所述深度伪 造检测模型针对所述待检 测图像输出 的是否存在伪造对 象的检测结果； 其中， 所述深度伪造检测模型包括空间特征 提取网络、 频率特征提取网络、 空间频率融合网络和分类网络， 所述深度伪造检测模型为机 器学习模型； 所述空间特 征提取网络从所述待检测图像中提取空间特 征表示； 所述频率特征提取网络从所述待检测图像中提取第一粒度的频率特征表示以及第二 粒度的频率特征表示， 所述第一粒度大于所述第二粒度； 对所述待检测图像进行对 象区域 分割， 利用分割得到的对象区域对所述第一粒度的频率特征表示和第二粒度的频率特征表 示进行融合得到所述待检测图像的频率特 征表示； 所述空间频率融合网络将待检测图像的空间特征表示和频率特征表示进行融合， 得到 空间频率联合特 征表示； 所述分类网络利用所述空间频率联合特征表示进行分类处理， 输出所述待检测图像是 否存在伪造对象。 2.根据权利要求1所述的方法， 其特征在于， 从所述待检测图像中提取第 一粒度的频率 特征表示包括： 对所述待检测图像进行傅里叶变换 得到所述待检测图像的第一频率特 征表示； 利用 个滤波器对所述第一频率特征表示进行滤波处理， 得到 个频率分量的 第一频率特 征表示， 所述 为大于1的正整数； 分别对所述 个频率分量的第一频率特征表示进行逆傅里叶变换， 得到 个频 率分量的第二频率特 征表示； 将所述 个频率分量的第二频率特征表示进行拼接， 得到所述第一粒度的频率特征 表示。 3.根据权利要求1所述的方法， 其特征在于， 从所述待检测图像中提取第 二粒度的频率 特征表示包括： 将所述待检测图像分割为多个图像块， 对各图像块进行傅里叶变换得到各图像块的频 率特征表示； 将各图像块的频率特 征表示进行拼接得到所述待检测图像的第三频率特 征表示； 对所述第三频率特 征表示进行 卷积处理， 得到所述第二粒度的频率特 征表示。 4.根据权利要求1所述的方法， 其特征在于， 所述利用分割得到的对象区域对所述第 一 粒度的频率特征表示和第二粒度的频率特征表示进行融合得到所述待检测图像的频率特 征表示包括： 利用图像分割网络生成人脸图像的内容掩码， 所述内容掩码是对待检测图像中的对象 区域进行掩码处 理得到的； 利用所述内容掩码对所述第一粒度的频率特征表示和第二粒度的频率特征表示进行权　利　要　求　书 1/4 页 2 CN 115311525 A 2加权处理， 得到所述待检测图像的频率特 征表示。 5.根据权利要求1所述的方法， 其特征在于， 所述空间特征提取网络从所述待检测图像 中提取空间特征表示包括： 利用至少 两层骨干网络对所述待检测图像进行空间特征提取， 得到各层输出的空间特征表示， 其中将最高层骨干网络输出的空间特征表示作为所述待检 测图像的空间特 征表示； 所述深度伪造检测模型还包括： 注意力处理网络； 在所述空间频率融合网络将待检测 图像的空间特 征表示和频率特 征表示进行融合之前， 还 包括： 所述注意力处理网络利用所述至少两层骨干网络中最高层骨干网络输出的空间特征 表示， 对所述待检测图像的频率特征表示进 行双线性注意力池化BAP处理， 并将处理后的待 检测图像的频率特 征提供给所述空间频率融合网络进行 所述融合； 和/或， 利用从所述至少两层骨干网络中最低层骨干网络输出的空间特征表示中提取的纹理 特征表示， 对 所述待检测图像的空间特征表 示进行BAP处理， 并将处理后的待检测图像的空 间特征表示提供给所述空间频率融合网络进行 所述融合。 6.根据权利要求5所述的方法， 其特征在于， 在对所述待检测图像的频率特征表示进行 BAP处理之前， 所述方法还包括： 所述注 意力处理网络对 所述待检测图像的空间特征表 示进 行细化处理， 该细化处理包括： 获取所述待检测图像的空间特征表 示对应的空间注意力图， 利用所述空间注意力图产生多尺度空间注意力图作为细化处理后的待检测图像的空间特 征表示； 和/或， 在利用所述纹理特征表示对所述待检测图像的频率特征表示进行BAP处理之前， 所述 方法还包括： 所述注意力处理网络对所述待检测图像的频率特征表示进行细化处理， 该细 化处理包括： 获取所述待检测图像的频率特征表示对应的频率注意力图， 利用所述频率注 意力图产生多尺度频率注意力图作为细化处 理后的待检测图像的频率特 征表示。 7.根据权利要求1所述的方法， 其特征在于， 所述空间频率融合网络将待检测图像的空 间特征表示和频率特 征表示进行融合， 得到空间频率融合特 征表示包括： 所述空间频率融合网络将所述待检测图像的空间特征表示和频率特征表示进行拼接， 得到特征拼接矩阵； 利用所述特征拼接矩阵， 构建特征近邻图， 所述特征近邻图包括节点和边， 所述节点包 括所述特 征拼接矩阵的各列， 若节点之间的距离满足预设的距离条件， 则节点之间存在边； 利用图神经网络从所述特 征近邻图中提取 特征表示； 利用所述图神经网络提取的特 征表示得到所述空间频率融合特 征表示。 8.根据权利要求7所述的方法， 其特征在于， 所述构建特征近邻图和利用图神经网络从 所述特征近邻图中提取 特征表示由多层动态图卷积模块执 行； 每一层动态图卷积模块利用输入的特征构建特征近邻图， 利用图神经网络从特征近邻 图中提取特征表示并输出； 其中， 第一层动态图卷积模块被输入的特征表示为所述特征拼 接矩阵， 非最后一层动态图卷积模块将提取的特 征表示输出至下一层动态图卷积模块。 9.根据权利要求1所述的方法， 其特征在于， 所述分类网络利用所述空间频率融合特征 表示进行分类处 理， 输出所述待检测图像是否存在伪造对象包括： 所述分类网络对所述空间频率融合特征表示和所述待检测图像的空间特征表示进行 拼接， 利用拼接后得到的特征进行分类处理， 输出所述待检测图像是否存在伪造对 象的检权　利　要　求　书 2/4 页 3 CN 115311525 A 3