(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147850.5 (22)申请日 2022.09.21 (71)申请人 征图新视 （江苏） 科技股份有限公司 地址 213161 江苏省常州市武进经济开发 区锦华路258- 6号 (72)发明人 都卫东　张鹏　杨飞　 (74)专利代理 机构 常州品益专利代理事务所 (普通合伙) 32401 专利代理师 王涵江 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/194(2017.01) G06V 10/52(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度图注意力的工业图像缺陷目标检 测算法 (57)摘要 本发明涉及一种基于深度图注意力的工业 图像缺陷目标检测算法， 包括以下步骤， S1、 收集 彩色RGB图像和对应的深度图像； S2、 对采 集到的 彩色RGB图像进行目标框标注， 生成标注文件； S3、 获得深度图的距离信息图； S4、 划分训练集和 验证集， 再分别进行数据增广 操作； S5、 利用划分 好的数据集训练所优化后的深度注意力YOLOX目 标检测网络； S6、 利用训练好的模型实现工业缺 陷目标检测。 本发明将传统算法提取深度图获得 距离信息图与深度学习提取RGB特征图进行融 合， 具有推理速度快， 目标分类精度高， 目标框置 信度高位置准确等特点； 能够 有效提高缺陷目标 检测准确率， 提高生产线效率。 权利要求书2页 说明书5页 附图2页 CN 115439458 A 2022.12.06 CN 115439458 A 1.一种基于深度图注意力的工业图像缺陷目标检测算法， 其特 征在于： 包括以下步骤， S1、 通过3D相机， 在固定工位上对工业零件进行拍照采集， 收集彩色RGB图像和对应的 深度图像； S2、 使用标注工具对 采集到的彩色RGB图像进行目标框标注， 生成标注文件； S3、 对采集到的深度图像进行去噪、 滤波操作， 去除噪声干扰； 然后通过阈值分割， 将异 于背景的部分分割出来， 对背景赋小值， 前景赋大值； 通过归一化操作 获得 （0,1） 区间的距 离信息图， 用于后续对特 征进行加权； S4、 将彩色RGB图像、 目标框标注文件和对应的距离信息图进行收集， 按照设定的比例 划分训练集和验证集， 再对划分好的数据集分别进行 数据增广操作； S5、 利用划分好的数据集训练所优化后的深度注意力YOLOX目标检测网络； S6、 采集待检测工件的彩色RGB图像和对应的深度图像， 经预处理后送入训练好的模型 中， 实现工业 缺陷目标检测的识别。 2.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的步骤S2中， 对采集到的彩色RGB图像进行标注， 获得不同缺陷的目标检测 框， 检测框 包含缺陷类别属性。 3.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的步骤S4中， 包括以下步骤， S401： 将处理深度图获得的距离信息图像与其对应的彩色RGB图像作为组合， 标签以 labelme的标签形式进行存储， 一起制作数据集， 并按照8:2的比例随机划分为训练集和验 证集； S402： 对训练集和验证进行数据增广操作； 将调整大小后得到的彩色RGB图像， 通过旋 转、 翻转、 随机噪声和/或颜色变换 的数据增强操作来扩充数据集； 当图像在旋转和翻转操 作时， 对应的距离信息图像也进 行相同的操作； 当图像进行随机噪声和颜色变换操作时， 对 应的距离信息图像不发生改变。 4.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的步骤S 5中， YOLOX目标检测网络包括多模态特征提取模块、 尺度特征融合模块以及预 测模块三个模块； 网络的输入为彩色RGB图像和距离信息图。 5.如权利要求4所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的多模态特征提取模块进 行特征提取对输入图像进行特征提取； 多模态特征提取模块 的输出特征由RGB提取的特征信息与距离信息图进行加权获得， 此时距离信息图会下采样 到特征维度大小。 6.如权利要求5所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的尺度特征融合模块对多模态特征提取模块提取到的彩色RGB数据和深度图信息的三 个特征数据X0、 X1、 X2进 行多尺度的特征融合； 具体为， X0特征进行上采样操作提高分辨率， 然后与X1， X2特征进行特征融合， 获得输出特征O2； 输出特征O2进行下采样与X1特征进行特 征融合， 获得输出 特征O1； 输出 特征O1特征下采样并与X0进行 特征融合获得输出 特征O0。 7.如权利要求6所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的预测模块对3个输出特征O0， O1， O2进行 目标检测； 先通过卷积模块进行进一步的特 征提取， 然后通过解耦将目标检测任务分解为分类任务和回归任务； 其中分类任务将分类权　利　要　求　书 1/2 页 2 CN 115439458 A 2目标输入到具体缺陷目标类别， 回归任务有两个输出目标， 分别为前景背景输出和目标框 输出； 3个不同维度的输出特征会得到3个目标检测输出， 再通过维度变化和拼接操作得到 最终的输出 结果。 8.如权利要求1所述的基于深度图注意力的工业图像缺陷目标检测算法， 其特征在于： 所述的步骤S5中， 采用损失函数 优化网络； 其中 是预测目 标的坐标框， 是预测目标 是背景还是 前景， 是预测目标的类别标签。权　利　要　求　书 2/2 页 3 CN 115439458 A 3