(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154288.9 (22)申请日 2022.09.21 (71)申请人 淮阴工学院 地址 223000 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 周健　邱军林　邵鹤帅　高丽　 蒋晓玲　陈礼青　李敏　叶德阳　 马志鹏　于金玉　 (74)专利代理 机构 淮安市科文知识产权事务所 32223 专利代理师 吴晶晶 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/25(2022.01) G06V 10/52(2022.01) G06V 10/774(2022.01) G06V 10/46(2022.01) (54)发明名称 基于改进Faster RCNN的高反光金属表面缺 陷检测方法 (57)摘要 本发明公开了一种基于改进Faster  RCNN的 高反光金属表 面缺陷检测方法， 对样本数据中的 缺陷进行标注， 将样本数据集进行数据增强处理 和模糊性消除处理， 并分为训练集和测试集； 构 建Faster  RCNN网络， 将ResNet152网络作为 Faster RCNN的主干特征提取网络， 对小目标特 征的提取； 结合AC ‑FPN网络， 使用CEM、 AM模块提 取多尺度特征， 进行目标的定位和分类； 将处理 好样本数据集输入到的改进的Faster  RCNN网络 中进行训练， 获得改进后的Faster  RCNN金属缺 陷检测模型； 将待检测的金属缺陷图像输入到训 练好的金属缺陷检测模型中， 最终得到金属缺陷 检测的结果。 与现有技术相比， 本发明提高了金 属缺陷检测的准确率和检测速度， 具有较好的实 时性。 权利要求书2页 说明书6页 附图3页 CN 115482220 A 2022.12.16 CN 115482220 A 1.一种基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特征在于， 包括以下 步骤： S1： 对样本数据中的缺陷进行标注， 将样本数据集进行数据增强处理和模糊性消除处 理， 并分为训练集和 测试集； S2： 构建F aster RCNN网络， 将ResNet  152网络作为F aster RCNN的主干特征提取网络， 对小目标 特征的提取； S3： 结合AC ‑FPN网络， 使用C EM、 AM模块 提取多尺度特 征， 进行目标的定位和分类； S4： 将经过S1处理好的样本数据集输入到的改进的Faster  RCNN网络中进行训练， 获得 改进后的Faster  RCNN金属缺陷检测模型； S5： 将待检测的金属缺陷图像输入到训练好的金属缺陷检测模型中， 最终得到金属缺 陷检测的结果。 2.根据权利要求1所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述 步骤S1的具体方法如下： S1.1： 从公开的GC10 ‑DET数据集中获得高反光金属表面 缺陷检测所需的数据样本； S1.2： 对数据样本进行预处理， 将数据样本进行格式转换， 转换为标准的VOC数据格式， 再通过Labelme标注工具对图像数据中的金属缺陷进行标注， 金属缺陷类型的标签包括折 痕、 油点、 压痕、 焊缝； S1.3： 通过对样本数据进行旋转、 裁 剪进行数据增强处 理， 用以扩充样本数据集； S1.4： 将待 处理图像转为灰度图像， 利用拉普拉斯算子实现一次卷积运算， 生成系统的 计算图， 再通过计算图得到该图的方差， 利用计算图的方差阈值来判断图像的清晰度， 差值 越大， 图像越清晰， 消除较为模糊的图像数据； S1.5： 将预处 理完成的样本数据分为训练集和 测试集。 3.根据权利要求1所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述 步骤S2的具体方法如下： S2.1： 获取在ImageNet数据集上进行过预训练的ResNet  152网络， 用于接下来的缺陷 分类任务， 其中ResNet  152网络结构主 要包括卷积层、 残差块、 平均值池化层和全连接层； S2.2： 构建Faster  RCNN网络， 以ResNet  152网络替换原来的VG G 16网络； S2.3： 向所述卷积层输入高反光金属缺陷图像数据， 将所有输入的高反光金属图像数 据利用卷积核 进行卷积操作； S2.4： 对经过卷积核卷积操作后的高反光金属图像数据进行标准化处理， 来得到标准 的图像样本数据集 合； S2.5： 对进行过标准化处理的图像数据利用非线性激活函数进行激活， 得到激活图像 样本数据集 合， 将激活图像样本数据集 合经最大池化层， 得到新的金属缺陷特 征图像； S2.6： 利用ResNet  152网络中的残差块对新的特征图像进行处理， 这个残差块由四个 残差子块组合而成， 每 个残差子块会将新的图像数据的数量增 加两倍并将尺寸缩小一半； S2.7： 将经残差块处理后的特征图像输入到平均值池化层， 使用平均值池化函数对特 征图像进行 特征综合； S2.8： 将综合后的特征图像输入到全连接层， 对经过前面各层处理后的特征图像进行 特征分类， 通过softmax函数将输出结果映射到[0， 1]区间内， 最终得到高反光金属缺陷的权　利　要　求　书 1/2 页 2 CN 115482220 A 2分类概率； S2.9： 根据高反光金属缺陷的分类概率划分相应类别， 进而完成对ResNet  152网络的 训练。 4.根据权利要求3所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述 步骤S3的具体方法如下： S3.1： 将通过ResNet  152网络提取的金属缺陷图像的特征输入AC ‑FPN特征提取网络， 并对其输入至 CEM模块中进行目标 特征提取， 得到多尺度特 征图； S3.2： 引入AM注意力引导模块， AM模块主要包括CxAM环境注意力模块和CnAM内容注意 力模块， 将经 过CEM模块后的特 征图， 输入到 CxAM环境注意力模块； S3.3： 将经过CEM模块后的特征图进一步利用CnAM内容注意力 模块， 维持每个目标的精 确位置信息 。 5.根据权利要求4所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述 步骤S3.1具体过程如下： S3.1.1： 将训练样本数据集中的缺陷图片通过ResNet  152进行特征提取； S3.1.2： 当图像特征进入到AC ‑FPN特征提取网络后， 在获得前几层的特征图后， 将其输 入到CEM背景提取模块， CEM背景提取模块由不同比率的多路径扩展卷积层组成， 每个扩展 层的输出与输入特征图连接， 然后输入到下一个扩展层， 图像经过这些分离的卷积层后， 获 得多个特 征图； S3.1.3： 将扩展层的输出特征与上采样的输入连接起来， 并将最小值输入到1 ×1的卷 积层中， 融合 粗粒度和细粒度的特 征。 6.根据权利要求4所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述 步骤3.2中AM模块的CxAM环境注意力模块处 理过程如下： S3.2.1： 以CEM模块输出的特征图作为CxAM的输入， 给定特征图F∈RC×H×W， 通过两个卷 积层， Wq和Wk将特征转换到隐空间中， 转换后的特征如 且{Q， K}∈RC ′ ×H×W， 之后Q， K转 化为RC′ ×N， 其中N＝H×W， 为获取每 个子区域之间的关系； S3.2.2： 计算一个关系矩阵R＝QTK， 其中R∈RN×N， 然后再将其转化为R∈RN×H×W， 之后经 过sigmoid激活函数和平均池化， 可以得到一个注意力矩阵R ′， 其中R′∈R1×H×W， 接下来通过 卷积层Wv， 将特征F转化为另一个表征V， 其中V∈RC×H×W， 最后对R ′和V做逐元素乘， Ei＝R′ ⊙V， 从而获得注意力表征E， 其中Ei表示通道维度C的第i层特 征； S3.2.3： 经 过CxAM模块后， 获取到 子区间的语义依赖项， 提取 更加准确的特 征图像。 7.根据权利要求4所述的基于改进Faster  RCNN的高反光金属表面缺 陷检测方法， 其特 征在于， 所述S3.3中CnAM内容注意力模块具体过程如下： S3.3.1： 特征图像进入CnAM模块后， 使用1 ×1卷积层转换给定特征图， 使用F5∈RC″ ×H×W 来产生注意力矩阵， 首先对F5使用两个 1×1卷积WP和WZ， 和 其中{P， Z}∈ RC′ ×H×W， 之后将P， Z转化为RC′ ×N， 其中N＝H ×W， 进而获得相关矩阵S＝PTZ， S∈RN×N， 再将其转 化为S∈RN×H×W， 之后经过sigmoid激活函数和平均池化， 得到注意力矩阵S ′， 其中S′∈R1 ×H×W， 最后结合V进行 逐像素相乘， Di＝S′ ⊙V， 其中D∈RC×H×W， Di为通道维度C的第i层特 征； S3.3.2： 经过CnAM模块特征处理后， 输出目标位置更加精确的特征图， 用于之后的特征 训练。权　利　要　求　书 2/2 页 3 CN 115482220 A 3