(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152005.7 (22)申请日 2022.09.21 (71)申请人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 王功伟　陈建春　胡琅　尤晶　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 专利代理师 许家裕 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 电路板表面缺陷检测方法、 装置、 电子设备 及存储介质 (57)摘要 本申请属于图像识别技术领域， 公开了一种 电路板表面缺陷检测方法、 装置、 电子设备及存 储介质， 获取待检测的电路板图像； 把所述电路 板图像输入预先训练好的CNN ‑Transformer融合 模型， 得到所述CNN ‑Transformer融合模型输出 的缺陷识别结果； 由于CNN ‑Transformer融合模 型兼顾了模 型性能和推理速度， 且不增加额外的 时间复杂度和空间复杂 度， 从而识别结果准确率 较高且检测效率较高。 权利要求书3页 说明书12页 附图4页 CN 115239712 A 2022.10.25 CN 115239712 A 1.一种电路板表面缺陷检测方法， 用于检测射频电源电路板的表面缺陷， 其特征在于， 包括步骤： A1.获取待检测的电路板图像； A2.把所述电路板图像输入预先训练好的CNN ‑Transformer融合模型， 得到所述CNN ‑ Transformer融合模型输出的缺陷识别结果； 所述CNN‑Transformer融合模型包括依次连接的输入层、 第一阶层 （100） 、 第二阶层 （200） 、 第三阶层 （40 0） 和第四阶层 （5 00） ； 所述第一阶层 （100） 包括从前到后依次连接的大小为4 ×4的非重叠卷积层和三个连续 堆叠的核大小为3 ×3的卷积编码器； 所述第二阶层 （200） 包括从前到后依次连接的下采样层、 两个连续堆叠的核大小为5 × 5的卷积编码器、 位置编码添加入口 （201） 和分割深度转置注意力编码器； 所述第三阶层 （400） 包括从前到后依次连接的下采样层、 八个连续堆叠的核大小为7 × 7的卷积编码器和分割深度转置注意力编码器； 所述第四阶层 （500） 包括从前到后依次连接的下采样层、 两个连续堆叠的核大小为9 × 9的卷积编码器和分割深度转置注意力编码器； 所述下采样层为大小为2 ×2的卷积层。 2.根据权利要求1所述的电路板表面缺陷检测方法， 其特征在于， 所述卷积编码器包括 从前到后依次连接的深度化卷积层、 第一归一化层、 第一逐点卷积层和第一加法器 （600） ； 所述深度化卷积层和所述第一加法器 （600） 还与所述卷积编码器的特征图输入端连接； 所 述深度化卷积层的大小与所述卷积编码器的核大小相同。 3.根据权利要求1所述的电路板表面缺陷检测方法， 其特征在于， 所述分割深度转置注 意力编码器包括特 征编码模块 （70 0） 和自注意计算模块 （80 0） ； 所述特征编码模块 （700） 包括通道分切模块、 第一通道 （701） 、 第二通道 （702） 、 第三通 道 （703） 、 第四通道 （704） 和张量拼接模块， 所述通道分切模块用于把输入的特征图划分为 四个子集分别输出至所述第一通道 （701） 、 所述第二通道 （702） 、 所述第三通道 （703） 和所述 第四通道 （704） ， 所述第一通道 （701） 、 所述第二通道 （702） 、 所述第三通道 （703） 和所述第四 通道 （704） 的输出端分别与所述张量拼接模块连接， 所述张量拼接模块用于把所述第一通 道 （701） 、 所述第二通道 （702） 、 所述第三通道 （703） 和所述第四通道 （704） 的输出特征融合， 所述第二通道 （702） 、 所述第三通道 （703） 和所述第四通道 （704） 中均设置有一个大小为3 × 3的深度化卷积层， 所述第三通道 （703） 的所述深度化卷积层的输入端与所述第二通道 （702） 的所述深度化卷积层的输出端连接； 所述自注意计算模块 （800） 包括第二归一化层、 第一重构模块、 第一线性层、 第二线性 层、 第三线性层、 第四线性层、 第一L2范数模块、 第二L2范数模块、 激活函数层、 第一交叉协 方差注意力计算模块 （8 01） 、 第二交叉协方差注 意力计算模块 （8 02） 、 第二重构模块、 第二加 法器 （803） 、 第三归一化层和第二逐点卷积层； 所述第二归一化层的输入端与所述张量拼接 模块的输出端连接， 所述第二归一化层的输出端与所述第一重构模块的输入端连接， 所述 第一重构模块的输出端与所述第一线性层、 所述第二线性层和所述第三线性层的输入端连 接， 所述第一线性层的输出端与所述第一交叉协方差注意力计算模块 （801） 的输入端之间 串联有所述第一L2范数模块， 所述第二线性层的输出端与所述第一交叉协方差注意力计算权　利　要　求　书 1/3 页 2 CN 115239712 A 2模块 （801） 的输入端之间串联有所述第二L2范数模块， 所述第一交叉协方差注意力计算模 块 （801） 的输出端与所述激活函数层的输入端连接， 所述激活函数层的输出端和所述第三 线性层的输出端均与所述第二交叉协方差注意力计算模块 （802） 的输入端连接， 所述第二 交叉协方差注 意力计算模块 （8 02） 的输出端与所述第二重构模块的输入端之间串联有 所述 第四线性层， 所述张量拼接模块的输出端和所述第二重构模块的输出端均与所述第二加法 器 （803） 的输入端 连接， 所述第二加法器 （803） 的输出端与所述第二逐点卷积层的输入端之 间串联有所述第三归一 化层。 4.根据权利要求1所述的电路板表面缺陷检测方法， 其特征在于， 所述CNN ‑ Transformer融合模型通过以下 过程训练得到： B1.采集射频电源电路板的多个图片； B2.用识别框对各所述图片的表面缺陷区域进行标注， 并用标签标注所述表面缺陷区 域的缺陷类别， 得到样本集； B3.按7:2:1的比例把所述样本集划分为训练集、 验证集和 测试集； B4.用所述训练集对所述CNN ‑Transformer融合模型进行多次迭代训练并用所述验证 集验证训练后的CN N‑Transformer融合模型， 以得到多个备选模型； B5.使用所述测试集对各所述备选模型进行测试， 并根据评价指标选择最优的所述备 选模型作为 最终的CN N‑Transformer融合模型。 5.根据权利要求4所述的电路板表面缺陷检测方法， 其特征在于， 所述评价指标包括 F1‑Score指标、 Recal l指标和precisi on指标； 步骤B5包括： 使用所述测试集对各所述备选模型进行测试， 以获取各所述备选模型的F1 ‑Score指标 值、 Recal l指标值和precisi on指标值； 计算所述F1 ‑Score指标值、 所述Recall指标值和所述precision指标值的和或者加权 和， 得到综合指标值； 选择所述综合指标值 最大的所述备选模型作为 最终的CN N‑Transformer融合模型。 6.一种电路板表面缺陷检测装置， 用于检测射频电源电路板的表面缺陷， 其特征在于， 包括： 第一获取模块， 用于获取待检测的电路板图像； 识别模块， 用于把所述电路板图像输入预先训练好的CNN ‑Transformer融合模型， 得到 所述CNN‑Transformer融合模型输出的缺陷识别结果； 所述CNN‑Transformer融合模型包括依次连接的输入层、 第一阶层 （100） 、 第二阶层 （200） 、 第三阶层 （40 0） 和第四阶层 （5 00） ； 所述第一阶层 （100） 包括从前到后依次连接的大小为4 ×4的非重叠卷积层和三个连续 堆叠的核大小为3 ×3的卷积编码器； 所述第二阶层 （200） 包括从前到后依次连接的下采样层、 两个连续堆叠的核大小为5 × 5的卷积编码器、 位置编码添加入口 （201） 和分割深度转置注意力编码器； 所述第三阶层 （400） 包括从前到后依次连接的下采样层、 八个连续堆叠的核大小为7 × 7的卷积编码器和分割深度转置注意力编码器； 所述第四阶层 （500） 包括从前到后依次连接的下采样层、 两个连续堆叠的核大小为9 ×权　利　要　求　书 2/3 页 3 CN 115239712 A 3