(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211217887.0 (22)申请日 2022.09.30 (71)申请人 成都九洲迪飞科技有限责任公司 地址 610041 四川省成 都市高新区天府大 道中段1366号2栋7层15-21号、 8层12 - 18号 (72)发明人 崔雄文　王维　谭尊林　杜皓　 曹徵鉴　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 尹玉 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于困难样例挖掘的PCB元器件精确识 别方法 (57)摘要 本发明公开了一种基于困难样例挖掘的PCB 元器件精确识别方法， 用训练图片样本集训练粗 分类器； 然后将粗分类器中识别结果错误的样本 以及粗分类器中识别结果正确且分类置信度低 于设定阈值θ的样本作为困难样例样本； 采用困 难样例样 本训练超分辨率重建网络； 采用超分辨 率重建网络输出的图像及标签训练精分类器。 将 待测图片依次输入训练后的粗分类器、 超分辨率 重建网络、 精分类器进行精确识别， 并输出识别 结果。 本发明既能够对比较清晰明显的PCB元器 件图片进行快速简单识别， 又能够对尺寸较小或 者比较模糊的PCB元器件图片进行精确有效识 别， 具有较好的实用性。 权利要求书2页 说明书9页 附图7页 CN 115526868 A 2022.12.27 CN 115526868 A 1.一种基于困难样例挖掘的PCB元器件精确识别方法， 其特 征在于， 包括以下步骤： 步骤S1： 采用工业相机， 拍摄PCB板的图像； 步骤S2： 人工标注、 制作训练图片样本集； 步骤S3： 用训练图片样本集训练粗分类 器； 步骤S4： 将粗分类器 中识别结果错误的样本以及粗分类器中识别结果正确且分类置信 度低于设定阈值θ 的样本作为困难样例样本， 将样本图片及对应的标签种类加入困难样例 库； 步骤S5： 采用困难样例样本训练超分辨率重建网络， 采用双线性插值方法将困难样例 样本图像进行放大， 将困难样例样本输入超分辨率重建网络， 将放大后的困难样例样本的 图像作为超分辨 率重建网络的输出图像； 步骤S6： 采用超分辨 率重建网络 输出的图像及标签训练精分类 器； 步骤S7： 将工业相机拍摄到的待测的PCB图像输入训练后的粗分类器进行识别， 若识别 的置信度高于设定阈值， 则直接输出识别结果； 否则输入到训练后的超分辨率重建网络进 行超分辨 率重建， 然后输出到训练后的精分类 器进行精确识别， 并输出识别结果。 2.根据权利要求1所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在 于， 所述步骤S3中粗分类器采用AlexNet神经网络， 且保留AlexNet神经网络的奇数层的池 化操作， 并去除偶数层的池化操作。 3.根据权利要求1或2所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特 征在于， 所述步骤S4中， 采用图片的归一化特征范数作为图片可识别性的度量， 进而将困难 样例样本区分为困难可识别样本和困难不可识别样本， 并剔除困难样例库中困难不可识别 样本。 4.根据权利要求3所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在 于， 所述步骤S4包括以下步骤： 步骤A： 设图片经 过卷积层后的特 征为： Fi＝[fi1， fi2， ...， fiM]i＝1， 2， 3， N   (1) 其中， N为图片数量， M为卷积特 征维数； 步骤B： 计算每一维特 征的均值和方差： 步骤C： 计算归一 化后的特 征范数： 如果norm(Fi)大于阈值σ， 则为困难可识别样本， 不进行任何操作； 如果norm(Fi)小于等 于阈值σ， 则为困难不可识别样本， 将对应的图片和标签从困难样例库中清除。 5.根据权利要求4所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115526868 A 2于， 所述阈值θ 为0.7， 阈值σ 为0.4。 6.根据权利要求1所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在 于， 所述步骤S5中超分辨 率重建网络采用BasicVSR+ +网络。 7.根据权利要求1所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在 于， 所述步骤S6中精分类 器采用Shuf fleNet V2网络。 8.根据权利要求1所述的一种基于困难样例挖掘的PCB元器件精确识别方法， 其特征在 于， 所述步骤S7中选取元器件 所在的区域对P CB图像进 行抠图并得到子图像， 将子图像输入 训练后的粗分类 器进行识别。权　利　要　求　书 2/2 页 3 CN 115526868 A 3