(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138259.3 (22)申请日 2022.09.19 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 李岳阳　鄢宁　罗海驰　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 吕永芳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于半监督学习的主板表面缺陷检测 方法 (57)摘要 本发明公开了一种基于半监督学习的主板 表面缺陷检测方法， 属于主板表 面缺陷检测技术 领域。 所述方法利用YOLOX目标检测网络对待检 测主板的CPU风扇接线进行缺陷检测， 并对螺丝 进行定位， 再使用改进的GANo maly异常检测网络 对定位后的螺丝进行二次检测， 获得螺丝的最终 检测结果； 本申请构建了一个从粗到细的级 联检 测网络， 在GANormaly异常检测网络中嵌入 SSPCAB模块， 从而 提出改进的GANo maly异常检测 模型， 加强了特征提取能力， 提高了模型检测准 确性。 而且本申请基于无监督的异常检测方法， 减少对缺陷样本的依赖和提高检测精度。 权利要求书3页 说明书10页 附图5页 CN 115526847 A 2022.12.27 CN 115526847 A 1.一种基于半监督学习的主板表面缺陷检测方法， 其特征在于， 所述方法针对主板生 产过程中存在的螺丝和CPU风扇接线存在的缺陷， 利用Y OLOX目标检测网络对待检测主板的 CPU风扇接线进行缺陷检测， 并对螺丝进行定位， 再使用改进的GANomaly异常检测网络对定 位后的螺 丝进行二次检测， 获得螺 丝的最终检测结果； 其中， 所述改进的GANomaly异常检测网络包含自编码器G、 编码器E和判别网络D三个子 网络， 所述自编码器G包括编码器GE和解码器GD， 其中， 在编码器GE中增加三个SSPCAB模块， 用于通过 学习利用上 下文信息去预测或重建被屏蔽的信息以获得高精度的重建结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法包括： 获取主板图像， 将所述主板图像输入YOLOX目标检测检测网络得到CPU风扇接线检测结 果， 同时输出螺 丝位置信息； 根据YOLOX目标检测检测网络输出的螺丝位置信 息对所述主板图像进行剪切并调整尺 寸， 记为 其中h为图像的高， w 为图像的宽， c为 通道维数； 将剪切并调整尺寸后得到的图像输入所述改进的GANomaly异常检测网络， 通过所述编 码器GE将x映射到一个低维 向量 d表示通道 维数， 即z＝GE(x)； 通过所述解码器GD从 低维向量 恢复数据得到重建图像 即 通过所述编码器E将重 建图像 再映射到一个低维向量 即 以考虑原 始图像和重建图像在潜在特 征空间上的距离在异常评判中的作用； 利用SSP CAB模块预测或重 建被屏蔽的信息以获得高 精度的重建结果； 通过所述判别网络D预测给定输入的类标签， 对原始图像x和重建图像 进行分类， 将原始图像x判别为真， 重建图像 判别为假， 通过使用对抗训练提高图像重建 质量； 最终得到 螺丝检测结果。 3.根据权利要求2所述的方法， 其特征在于， 所述改进的GANomaly异常检测网络中 SSPCAB模块由masked  convolution层和通道 注意力机制两 部分组成； 所述masked  convolution层对特征图感受野部分像素点不做卷积操作， 只需要选取感 受野中四个角落位置的像素点进 行卷积操作后再求和， 经过ReLU激活函数后得到一个值用 来代表该感受野的特征表示； 所述通道注意力机制使用SENet通道注意力模块以确保 SSPCAB模块的输入和输出之间进行非线性处 理， 同时对通道维度的特 征进行自适应校准。 4.根据权利要求3所述的方法， 其特征在于， 所述SSPCAB模块中， 设 为 masked convolutional层的输入特征图； 对输入X周围增加k ′+d个像素的零填充， 设置 stride为1， 输 出通道数为c； 当对输入的某 个感受野使用masked  convolutional  kernel执 行卷积操作时， 只考虑该感受野中四个角落的子卷积核的所在位置的输入值， 忽略其他信 息， 每个Ki与相应位置的输入之间执行卷积运算， 再对这四个结果求和得到单个数值， 再经 过ReLU激活函数后作为卷积运算后中心像素点M的值， 最终得到masked  convolutional层 的输出 表示该卷积核的四个角落的子卷积核， 其中 表示定义子卷积核的大小的超参数， c为输入通道数； 表示中心像 素点， d表 示子卷积核的边缘到中心像素点M的距离， 感受野的边长为k＝2k ′+2d+1， k′和d为 超参数； 则通道注意力机制输入即为 在每个通道维度上执行全局平均池化得到特权　利　要　求　书 1/3 页 2 CN 115526847 A 2征向量 随后经过两次全连接层； 首先通过第一个全连接层 将通道维数 降到 再经过ReLU函数激活后进入第二个全连接层 将通道维数恢复到c， 再通 过sigmoid函数激活得到向量s＝σ(W2·δ(W1·z))， 最后将输入Z和向量s相乘得到SSPCAB模 块的最终输出 特征图 其中 r表示下降率， σ 为sigmo id激活函数， δ 为ReLU 激活函数。 5.根据权利要 求4所述的方法， 其特征在于， 所述编码器GE包括六个卷积层和3个SSPCAB 模块， 所述SSPCAB模块分别插入第四、 五和六个卷积层组输出之后， 分别记为SSPCAB1、 SSPCAB2和S SPCAB3。 6.根据权利 要求5所述的方法， 其特征在于， 所述改进的GANomaly异常检测网络的第一 个子网络自编码器G的损失是自编码器 的重建损失， 采用了L1损失， 通过把输入图像x与重 建图像 的绝对差值的总和最小化 来优化G： 所述改进的GANomaly异常检测网络的第二个子网络编码器E的损失是编码器的损失， 采用L2损失， 通过将原始图像x和重建图像 在高一层抽象空间的差异的平方和最小化来优 化E： 所述改进的GANomaly异常检测网络的第三个子网络判别网络D通过将输入图像x和重 建图像 输入到该网络， 采用二分类的交叉熵损失来进行优化： SSPCAB模块总的重建损失为： 所述改进的GAN omaly异常检测网络的 的损失函数为： 其中α 、 β 、 γ和 λ是调节单个损失对总体目标函数影响的权 重参数。 7.根据权利要求1所述的方法， 其特征在于， 所述主板生产过程中存在的螺丝和CPU风 扇存在的缺陷问题包括： 固定主板的螺丝缺失、 松动、 型号不一致， CPU风扇接线未插到位、 插歪、 插错、 插反和漏插问题。 8.根据权利要求6所述的方法， 其特征在于， 所述方法包括训练阶段和检测阶段； 所述 训练阶段包括： 制作数据集： 采集主板图像， 并通过深度学习图像标注工具Labelme进行标注， 获取包 含所有固定主板的螺 丝和CPU风扇接线插座的位置及种类的XML文件； 将所采集 的主板图像按照7∶2∶1分为训练集train1、 验证集val1和测 试集test1， 作为 YOLOX目标检测网络的训练、 验证和 测试所需的数据集； 利用XML文件得到数据 集中有关螺丝的位置信息， 通过该位置信息对训练集train1、 验 证集val1和测试集test1中对应的螺丝图片进行裁剪得到螺丝小图像， 并将其尺寸缩放到 128×128大小， 将训练集train1、 验证集val1中剪切 缩放后得到的螺丝的正常样本作为 改 进的GANomaly异常检测网络的训练集train2， 将训练集train1、 验证集val1和测试集test1 中剪切得到的螺丝的异常样 本和测试集test1 中剪切得到的正常样 本作为改进的GA Nomaly权　利　要　求　书 2/3 页 3 CN 115526847 A 3