(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211166623.7 (22)申请日 2022.09.23 (71)申请人 章鱼博士智能技 术 （上海） 有限公司 地址 201800 上海市嘉定区金沙江路3131 号2幢J (72)发明人 翟坤　杨红新　李翌辉　周晓毅　 武振昕　梁洋洋　 (74)专利代理 机构 成都瑞创华盛知识产权代理 事务所 (特殊普通合伙) 51270 专利代理师 邓瑞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种密封 钉缺陷检测方法及系统 (57)摘要 本发明提出一种密封钉缺陷检测方法及系 统， 所述密封钉缺陷检测方法包括如下步骤： S1、 通过2D算法进行判别， 2D算法通过2D视觉检测进 行缺陷判别； S2、 通过3D算法进行判别， 3D算 法依 据瑕疵面积、 瑕疵形状、 瑕疵图像灰度信息以及 深度学习算法进行瑕疵的检测及分类； S3、 根据 2D算法和3D算法的判别结果进行逻辑判断。 本发 明提出一种基于YOLOv5与3D点云相结合的密封 钉缺陷检测算法， 能够提高密封钉缺陷检测的准 确率， 取代当前单一算法检测,人工复检的现状， 提升产品质量与安全,提高企业利 润率。 权利要求书2页 说明书5页 附图1页 CN 115496728 A 2022.12.20 CN 115496728 A 1.一种密封钉缺陷检测方法， 其特 征在于,所述密封钉缺陷检测方法包括如下步骤： S1、 通过2D算法进行判别， 2D算法通过2D视 觉检测进行缺陷判别； S2、 通过3D算法进行判别， 3D算法依据瑕疵面积、 瑕疵形状、 瑕疵图像灰度信息以及深 度学习算法进行瑕疵的检测及分类； S3、 根据2D算法和3D算法的判别结果进行逻辑判断。 2.根据权利要求1所述的密封钉缺陷检测方法， 其特征在于， 所述步骤S1具体包括如下 步骤： S11、 明确焊接缺陷检测需求， 收集样本集； S12、 选择模型； S13、 模型训练与调参； S14、 通过算法进行 预测， 输出 预测结果； S15、 通过多个指标进行算法的评价。 3.根据权利要求2所述的密封钉缺陷检测方法， 其特征在于， 所述步骤S11具体包括如 下步骤： S111、 准备数据， 使用2D工业相机对产品进行拍摄,收集 缺陷特征； S112、 进行图像清洗和标注， 根据工艺认证的缺陷标准， 筛选出有效的缺陷图像， 使用 图像标注工具对2D缺陷图像进行 标注。 4.根据权利要求2所述的密封钉缺陷检测方法， 其特征在于， 在所述步骤S12中， 将目标 检测模型选择为YOLOv5模型， 使用pytorc h框架进行网络的搭建。 5.根据权利要求2所述的密封钉缺陷检测方法， 其特征在于， 所述步骤S13具体包括如 下步骤： S131、 将缺陷分类定为6个类型， 分别为炸点、 缺焊、 焊孔、 翘钉焊接、 无钉焊接和焊渣， 将标注好的图像生成训练文件， 所述训练文件包含训练图片位置、 缺陷标注的位置坐标以 及分类的类别； S132、 设置图片训练尺寸； S133、 载入分类 类别和先验框参数； S134、 设置训练模型参数。 6.根据权利要求2所述的密封钉缺陷检测方法， 其特征在于， 所述步骤S14具体包括如 下步骤： S141、 加载需要推理的顶盖焊图像； S142、 对加载完成的图像进行不失真的转换； S143、 将图像传入训练完成的模型； S144、 获得模型的预测结果， 进行解码 操作； S145、 将预测框堆叠， 进行非极大抑制， 刷选出一定区域内得分最大的方框； S146、 输出调整后的预测框； S147、 将缺陷图像与OK图像分类保存至本地， 用于数据回溯， 并将结果信号通过通讯的 方式传入接收端； S148、 设置模型参数。 7.根据权利要求1所述的密封钉缺陷检测方法， 其特征在于， 所述步骤S2具体包括如下权　利　要　求　书 1/2 页 2 CN 115496728 A 2步骤： S21、 数据采集， 采用3D线扫描相机对工件进行扫描,获取图像； S22、 通过算法对原缺陷图进行拟合， 将其拟合成与正常焊缝相似的图形； S23、 通过算法将 拟合后的图形与原图形进行比较， 得 出缺陷位置与大小； S24、 对差值图像进行处 理， 将凸起部分定义 为白色， 将凹陷部分定义 为黑色； S25、 通过检测图像中白色部分与黑色部分， 对缺陷进行定位分析。 8.根据权利要求7所述的密封钉缺陷检测方法， 其特征在于， 在所述步骤S25 中， 通过缺 陷算法进行定位检测， 利用高度检测及bl ob分析算法， 测量焊孔的直径。 9.根据权利要求1所述的密封钉缺陷检测方法， 其特征在于， 在所述步骤S3中， 逻辑判 断的规则为2D算法和3D算法的判别结果中只要有一个判定存在缺陷， 就输出存在缺陷的结 论， 只有当2D算法和3D算法的判别结果均为 不存在缺陷时， 才输出不存在缺陷的结论。 10.一种密封钉缺陷检测系统， 其特征在于,所述密封钉缺陷检测系统包括2D算法判别 模块、 3D算法判别模块和综合判别模块， 所述2D算法判别模块基于目标检测模型， 通过视觉 检测判别缺陷， 所述3D算法判别模块依据瑕疵面积、 瑕疵形状、 瑕疵图像灰度信息以及深度 学习算法进 行瑕疵的检测及分类， 所述 综合判别模块根据2D算法和3D算法的判别结果进 行 逻辑判断。权　利　要　求　书 2/2 页 3 CN 115496728 A 3