(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211151164.5 (22)申请日 2022.09.21 (71)申请人 苏州科德软体电路板有限公司 地址 215200 江苏省苏州市吴江区松陵镇 九龙路355号 (72)发明人 章张健　周迪斌　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 专利代理师 吴芳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种柔体线路板缺陷检测模型训练方法及 缺陷检测方法 (57)摘要 本发明公开了一种柔体线路板缺陷检测模 型训练方法及缺陷检测方法， 柔体线路板缺陷检 测模型的训练方法包括： 获取柔体线路板原始图 像， 对柔体线路板原始图像中的目标缺陷进行标 注， 得到一个或多个数据集； 采用马赛克数据增 强方法和/或随机裁剪数据增强方法对所述数据 集进行数据增强扩充得到样本集； 基于YOLOv4算 法， 构建并改进YOLOv4结构， 得到改进的YOLOv4 模型； 利用所述样本集， 对所述改进的YOLOv4模 型进行训练， 得到柔体线路板缺陷检测模型； 利 用该训练方法得到的检测模型对柔体线路板的 缺陷进行检测更精确、 更 快速。 权利要求书3页 说明书10页 附图7页 CN 115511820 A 2022.12.23 CN 115511820 A 1.一种基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其特征在于， 包括以 下步骤： 获取柔体线路板原始图像， 对柔体线路板原始图像中的目标缺陷进行标注， 得到一个 或多个数据集； 采用马赛克数据增强方法和/或 随机裁剪数据增强方法对所述数据集进行数据增强扩 充操作， 得到样本集； 基于YOLOv4算法， 构建YOLOv4结构， 并采用GhostNet网络结构作为特征提取骨干网络， 使用特征金字塔CSPP模块， 及将所述YOLOv4结构的neck部分改进为SPANet结构， 得到改进 的YOLOv4模型； 利用所述样本集， 对所述改进的YOLOv4模型进行训练， 得到柔体线路板缺陷检测模型。 2.根据权利要求1所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 所述改进的YOLOv4模型包括特征提取骨干网络、 特征金字塔CSPP 模块、 SPANet路 径聚合网络模块和多分类 器模块； 所述GhostNet网络结构被 配置为生成并输出四个特 征图A1、 A2、 A3和A4； 所述特征图A1、 A2、 A3和A4传输至所述特征金字塔CSPP模块， 生成并输出特征图C1、 C2、 C3 和C4； 所述特征图C1、 C2、 C3和C4传输至所述SPANet路径聚合网络模块， 生成有效特 征图； 所述有效特 征图传输 至所述多分类 器模块。 3.根据权利要求2所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 所述S PANet路径聚合网络模块对所述特 征图C1、 C2、 C3和C4的处理步骤为： 对所述四个特 征图C1、 C2、 C3、 C4分别进行 卷积运算， 生成C1_0、 C2_0、 C3_0、 C4_0； 对C4_0进行上采样操作， 得到C4_1； 将C3_0和C4_1进行特征融合， 形成C3_1； 对C3_1的有效特 征层进行多次卷积运算， 形成C3_2； 对C3_2进行上采样， 并将其上采样结果与C2_0进行特征融 合， 形成C2_1； 将C1_0和C2_1进行特征融合， 形成C1_1； 对C1_1的有效特征层进行多次卷积运算， 形成C1_2； 对C1_2进行下采样， 并将其下采样结果与C2_1进行拼接， 形成C2_2； 对C2_2进行下采样 和卷积运 算， 并将其 运算结果与C3_2进行拼接， 形成C3_3； 将C3_3与C4_1进行拼接， 形成C4_2； 对C1_2进行卷积运算， 生成有效特 征图P1； 对所述有效特征图P1进行最大池化操作后与C2_2逐元素相加， 再进行卷积运算， 生成有 效特征图P2； 对所述有效特征图P2进行卷积运算和最大池 化操作后与C3_2逐元素相加， 并对得到的结 果进行卷积运算， 生成有效特 征图P3； 将所述有效特征图P3与C4_2逐元素相加， 并对得到的结果进行卷积运算， 生成有效特征 图P4。 4.根据权利要求2所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 所述特 征金字塔CS PP模块对所述特 征图A1、 A2、 A3和A4进行操作的步骤为： 所述特征金字塔CSPP模 块将所述特征图A1、 A2、 A3和A4分别传输经过5、 9、 13的池化层， 并 且通过卷积核 大小为5、 7、 9的卷积， 将通过池化和卷积的六层特征图进 行拼接， 再进 行一次 卷积核为1的卷积 操作， 对应生成并输出 特征图C1、 C2、 C3和C4。 5.根据权利要求2所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其权　利　要　求　书 1/3 页 2 CN 115511820 A 2特征在于， 所述多分类器模块包括多个Yolo  Head分类器， 所述多个Yolo  Head分类器用于 接收不同大小的融合特 征。 6.根据权利要求1所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 对所述数据集进行 数据增强扩充的操作包括： 采用对所述数据集进行加噪、 平移、 旋转、 裁剪、 仿射变换、 增加灰度、 融合特定背景中 的一种或多种方式， 实现数据增强和/或扩充。 7.根据权利要求1所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 所述目标缺陷包括摺痕、 压痕、 异 物、 氧化。 8.根据权利 要求1‑7中任意一项所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型 训练方法， 其特征在于， 将所述样 本集划分为训练集和验证集， 所述训练集的样本数大于所 述验证集的样本数； 利用所述训练集对所述改进的YOLOv4模型进行训练， 得到柔体线路板缺陷检测模型； 利用所述验证集对得到的柔体线路板缺陷检测模型的检测能力进行验证， 评估所述柔 体线路板缺陷检测模型的性能； 验证评估所述柔体线路板缺陷检测模型的性 能是否满足要求， 如果满足则将当前的柔 体线路板缺陷检测模 型用于柔体线路板的缺陷检测； 否则， 需要微调模型的网络参数和/或 增加所述训练集的样本数， 优化所述柔体线路板缺陷检测模型， 直至得到通过验证的柔体 线路板缺陷检测模型。 9.根据权利要求8所述的基于YoloV4 ‑Ghost的柔体线路板缺陷检测模型训练方法， 其 特征在于， 验证评估所述柔体线路板缺陷检测模型 的性能包括缺陷分类评估， 所述缺陷分 类评估步骤为： 计算所述 柔体线路板缺陷检测模型的平均精度mAP， 其计算公式为： 其中， APi为第i个缺陷分类的精度， k 为缺陷分类的数量； 若平均精度mAP≥90％， 则认定所述柔体线路板缺陷检测模型能够对各类缺陷进行精 确检测， 否则对所述 柔体线路板缺陷检测模型进行优化。 10.一种柔体线路板缺陷检测方法， 其特 征在于， 包括以下步骤： 获取待检测的柔体线路板的图像； 采用马赛克数据增强方法和/或 随机裁剪数据增强方法对所述数据集进行数据增强扩 充得到样本集； 将所述样本集输入预 先完成训练的柔体线路板缺陷检测模型进行检测； 所述柔体线路板缺陷检测模型输出检测结果， 输出的检测结果包括目标缺陷的位置、 目标缺陷的类别以及目标缺陷的置信度； 其中， 所述 柔体线路板缺陷检测模型通过以下步骤完成训练： 获取柔体线路板原始图像， 对柔体线路板原始图像中的目标缺陷进行标注， 得到一个 或多个数据集； 采用马赛克数据增强方法和/或 随机裁剪数据增强方法对所述数据集进行数据增强扩 充得到样本集。权　利　要　求　书 2/3 页 3 CN 115511820 A 3