(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238614.4 (22)申请日 2022.10.11 (71)申请人 富联裕展科技 （深圳） 有限公司 地址 518000 广东省深圳市龙华区龙华 街 道富康社区东环二路2号富士康H5厂 房101、 观澜街道福城 大三社区富士康 鸿观科技园B区厂房5栋C09 栋4层、 C07 栋2层、 C08栋3层4层、 C 04栋1层 (72)发明人 李子康　林宗儒　吴振廷　彭杨　 余振宇　田欣　彭香君　 (74)专利代理 机构 北京汇思诚业知识产权代理 有限公司 1 1444 专利代理师 周放 (51)Int.Cl. G06T 7/00(2017.01)G06T 3/40(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 检测模型的训练方法、 缺陷检测方法、 装置 及存储介质 (57)摘要 本申请实施例提供的一种检测模型的训练 方法、 缺陷检测方法、 装置及存储介质。 包括： 获 取目标金属表 面的检测图像及模板图像； 将检测 图像及目标金属表面的模板图像输入至金属表 面缺陷的检测模 型， 得到金属表 面缺陷的检测模 型输出的目标金属表面的检测图像及目标金属 表面的模板图像间的差异信息； 金属表面缺陷的 检测模型为预先训练的， 用于提取输入的检测图 像的特征信息及模板图像的特征信息， 将检测图 像的特征信息与模板图像的特征信息间的特征 差异信息， 及检测图像的特征信息进行拼接， 形 成第一特征信息； 对第一特征信息进行特征融 合， 输出检测图像及模板图像间的差异信息； 根 据检测图像及模板图像间的差异信息， 确定目标 金属表面是否存在缺陷。 权利要求书4页 说明书20页 附图13页 CN 115311273 A 2022.11.08 CN 115311273 A 1.一种金属表面 缺陷的检测方法， 其特 征在于， 包括： 获取目标金属 表面的检测图像及目标金属 表面的模板图像； 所述模板图像是所述目标 金属表面无缺陷的图像； 将所述目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的 检测模型， 得到所述金属表面缺陷的检测模型输出的所述目标金属表面的检测图像及目标 金属表面的模板图像间的差异信息； 所述金属表面缺陷的检测模型为预先训练的， 用于提 取输入的目标金属表 面的检测图像的特征信息及目标金属表面的模板图像的特征信息， 将 所述检测图像的特征信息与所述模板图像的特征信息间的特征差异信息， 及所述检测图像 的特征信息进 行拼接， 形成第一特征信息； 对所述第一特征信息进 行特征融合， 输出目标金 属表面的检测图像及目标 金属表面的模板图像间的差异信息； 根据所述目标金属 表面的检测图像及目标金属 表面的模板图像间的差异信 息， 确定所 述目标金属表面是否存在缺陷。 2.根据权利要求1所述的检测方法， 其特征在于， 所述金属表面缺陷的检测模型包括： 卷积池化层， 特 征拼接层 及输出层； 所述卷积池化层， 用于对输入的所述目标金属 表面的检测图像及所述目标金属表面的 模板图像进行 卷积池化处 理， 提取所述目标 金属表面的模板图像及检测图像的特 征信息； 所述特征拼接层， 用于获取所述模板图像的特征信 息及检测图像的特征信 息间的特征 差异信息， 并将获取 的所述特征差异信息与所述检测图像的特征信息进行拼接， 得到拼接 特征信息； 对所述 拼接特征信息进行 上采样， 得到第一特 征信息； 所述输出层， 用于对所述第一特征信息进行卷积处理， 得到所述目标金属表面的模板 图像及检测图像间的差异信息 。 3.根据权利要求2所述的检测方法， 其特 征在于， 所述特征拼接层， 具体用于根据模板 图像的特征信息及检测图像的特征信息， 计算所 述模板图像的特征信息及所述检测图像的特征信息间的特征差值， 根据所述特征差值确定 所述模板图像的特 征信息及检测图像的特 征信息间的特 征差异信息 。 4.根据权利要求3所述的检测方法， 其特 征在于， 所述卷积池化层， 具体用于分别对输入的所述模板图像及所述检测图像进行第 一卷积 处理得到模板图像的第二特 征信息及检测图像的第二特 征信息； 分别对所述模板图像的第二特征信息及检测图像第二特征信息进行第一池化和第二 卷积处理， 得到模板图像的第三特 征信息及检测图像的第三特 征信息； 分别对所述模板图像的第三特征信息及检测图像的第三特征信息进行第二池化和第 三卷积处 理， 得到模板图像的第四特 征信息及检测图像的第四特 征信息。 5.根据权利要求 4所述的检测方法， 其特 征在于， 所述特征拼接层， 具体用于根据模板图像的第二特征信息及检测图像的第二特征信 息， 计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值， 根据所述模 板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息， 并将所述第一特征差异信息及所述检测图像的第二特征信息叠加 拼接为第一拼接特征信 息； 其中， 所述第一特征差异信息为所述模板图像的第二特征信息及检测图像的第二特征 信息间的特 征差异信息；权　利　要　求　书 1/4 页 2 CN 115311273 A 2根据模板图像的第 三特征信 息及检测图像的第 三特征信 息， 计算模板图像的第 三特征 信息及检测图像的第三特征信息间的特征差值， 根据所述模板图像的第三特征信息及检测 图像的第三特征信息间的特征差值确定第二特征差异信息， 并将所述第二特征差异信息及 所述检测图像的第三特征信息叠加 拼接为第二特征拼接信息； 其中， 所述第二特征差异信 息为所述模板图像的第三特 征信息及检测图像的第三特 征信息间的特 征差异信息； 根据模板图像的第四特征信 息及检测图像的第四特征信 息， 计算模板图像的第四特征 信息及检测图像的第四特征信息间的特征差值， 根据所述模板图像的第四特征信息及检测 图像的第四特征信息间的特征差值确定第三特征差异信息， 并将所述第三特征差异信息及 所述检测图像的第四特征信息叠加 拼接为第三特征拼接信息； 其中， 所述第三特征差异信 息为所述模板图像的第四特 征信息及检测图像的第四特 征信息间的特 征差异信息； 将所述第一特征拼接信息、 第二特征拼接信息及第三特征拼接信息进行上采样， 并按 照预设顺序拼接为第一特 征信息。 6.根据权利要求1所述的检测方法， 其特征在于， 所述根据 所述目标金属表面的检测图 像及目标 金属表面的模板图像间的差异信息， 确定所述目标 金属表面是否存在缺陷包括： 根据所述目标金属 表面的检测图像及目标金属 表面的模板图像间的差异信 息， 确定所 述目标金属表面的检测图像中的缺陷像素的数量； 根据所述目标金属 表面的检测图像中的缺陷像素的数量， 确定所述目标金属 表面是否 存在缺陷。 7.一种检测模型的训练方法， 其特 征在于， 包括： 获取样本图像； 所述样本图像包括： 样本模板图像及样本检测图像； 所述样本模板图像 为金属表面无缺陷的图像； 根据所述样本 图像对预设网络模型进行训练， 得到金属表面缺陷的检测模型； 所述金 属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属 表面的模板图像的特征信息， 将所述检测图像的特征信息与模板图像的特征信息间的特征 差异信息， 及所述检测图像的特征信息进 行拼接， 形成第一特征信息； 对所述第一特征信息 进行特征融合， 输出检测图像及模板图像间的差异信息 。 8.根据权利要求7所述的训练方法， 其特征在于， 所述预设网络模型包括： 卷积池化层， 特征拼接层 及输出层； 所述根据所述样本图像对预设网络模型进行训练， 得到金属表面缺陷的检测模型包 括： 将所述样本图像输入所述预设网络模型； 所述预设网络模型的卷积池化层对输入的样本模板 图像及样本检测图像进行卷积池 化处理， 提取样本模板图像及样本检测图像的特 征信息； 所述预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特 征信息间的特征差异信息， 并将获取的所述特征差异信息与所述样本检测图像的特征信息 进行拼接， 得到特 征拼接信息； 对所述特 征拼接信息进行 上采样， 得到第一特 征信息； 所述预设网络模型的输出层对所述第 一特征信 息进行卷积处理， 得到所述样本模板图 像及样本检测图像间的差异信息； 通过预设损失函数计算所述预设网络模型的输出层输出的样本模板图像及样本检测权　利　要　求　书 2/4 页 3 CN 115311273 A 3