(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211236036.0 (22)申请日 2022.10.10 (71)申请人 太原理工大 学 地址 030024 山西省太原市万柏林区太原 理工大学迎西校区 (72)发明人 续欣莹　王昊东　赵文晶　郑梓豪　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 李伟波 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于特征增强多尺度融合的小样本PCB缺陷 检测方法及装置 (57)摘要 本公开实施例公开了一种基于特征增强多 尺度融合的小样本PCB缺陷检测方法及装置。 其 中， 该方法在原始的元学习小样 本目标检测算法 FSRW基础上， 加入特征增强模块， 突出接收到的 特征图关键性区域， 抑制无用信息的干扰， 增强 特征判别性， 从而 提升检测效果。 针对PCB板缺陷 特征尺寸微小， 检测难度大的特点， 提出BI ‑FU多 尺度融合策略， 提取PCB多个尺度特征图， 并融合 成一张包含不同尺度信息的高质量特征图， 进一 步提高模型对小目标缺陷的检测精度。 该方法相 比于原始FSRW方法在PCB缺陷上提高了检测准确 率， 并且与其他的小样本目标检测算法相比， 也 有出色的检测效果， 具有良好的泛化能力和鲁棒 性， 有较高的实际应用价 值。 权利要求书3页 说明书13页 附图5页 CN 115496741 A 2022.12.20 CN 115496741 A 1.一种基于特 征增强多尺度融合的小样本PCB缺陷检测方法， 其特 征在于， 包括： 步骤1、 构建基类数据集和新类数据集； 其中， 所述基类数据集包含样本图像及其标注 信息， 所述 新类数据集包括PCB图像及其标注信息； 步骤2、 将所述基类数据集和所述新类数据集分别划分为由查询集图像和支持集图像 组成的任务数据集； 步骤3、 对每 个所述任务数据集进行如下处 理： 步骤31、 使用DarkNet ‑53网络提取输入的查询集图像的特征 图， 再对特征 图进行特征 增强处理， 输出增强后的查询集特 征图； 步骤32、 使用BI ‑FU多尺度特征融合模块先提取输入的支持集 图像的多个不同尺度的 特征图， 并用该模块对所述多个不同尺度的特征图进 行融合， 得到多尺度融合特征图； 再对 多尺度融合特 征图进行 卷积处理， 输出特征重加权向量； 步骤33、 将所述查询集特征图和所述特征重加权向量进行融合处理， 得到重加权后的 查询集特 征图； 步骤34、 基于所述重加权后的查询集特征图进行预测分析， 生成包含预测位置及预测 类别的预测结果； 步骤4、 采用两阶段训练策略， 先通过所述基类数据集的任务数据集进行模型训练， 再 通过所述新类数据集的任务数据集进行模型微调； 步骤5、 基于训练完成的模型对PCB表面 缺陷进行检测。 2.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述构建基 类数据集和新类数据集， 包括： 获取FSOD数据集作为基类数据集； 以及， 以带有缺陷标注信息的PCB成品图像， 建立作 为所述新类数据集的PCB缺陷图像数据集。 3.根据权利要求2所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述缺陷标注信息中指示出缺陷类别为缺孔、 鼠咬、 断路、 短路、 毛刺和多铜中的至少 一种。 4.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述任务数据集中包括一个查询集图像和多个支持集图像； 其中， 所述多个支持集图 像为从所述基 类数据集或新类数据集的每 个类别图像中抽取 出的相同数量的图像。 5.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述对特 征图进行 特征增强处 理， 输出增强后的查询集特 征图， 包括： 利用特征图F根据如下公式获得中间特 征图F′： 其中， σ 为sigmiod激活函数， W0、 W1为MLP的权重， 为平均池化特征， 为最大池 化特征， W0∈Rc/r×c， W1∈Rc×c/r， R为实数， c为 通道数， r为减少率， 表示逐元素相乘； 再利用中间特 征图F′根据如下公式获得增强后的查询集特 征图Fc：权　利　要　求　书 1/3 页 2 CN 115496741 A 2其中， σ 为sigmiod激活函数， f7×7为卷积核为7 ×7的卷积运算， 为平均池化2D特征 图， 为最大池化2D特 征图， 表示逐元素相乘。 6.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述使用BI ‑FU多尺度特征融合模块先提取输入的支持集图像的多个不同尺度的特 征图， 并用该模块对所述多个不同尺度的特 征图进行融合， 得到多尺度融合特 征图， 包括： 利用VGG16和BiFPN  Layer作为多尺度特征提取模块BI， 通过VGG16将输入的支持集图 像生成多个不同尺度的特征图， 再通过BiFPN  Layer对多个不同尺度的特征图进 行提取， 将 其作为特 征融合模块FU的输入； 通过特征融合模块FU对多尺度特征提取模块BI输出的多个不同尺度的特征图进行融 合处理， 得到所述多尺度融合特 征图。 7.根据权利要求6所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述通过特征融合模块FU对多尺度特征提取模块BI输出的多个不同尺度的特征图进 行融合处 理， 得到所述多尺度融合特 征图， 包括： 将所述多个不同尺度的特征图进行卷积操作， 压缩得到对应尺度的1 ×1大小的张量， 组成特征融合向量， 再使用特征融合向量对所述多个不同尺度的特征图进行重加权， 重加 权后的不同尺度的特 征图通过 逐元素相加操作， 融合 为多尺度融合特 征图。 8.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 所述对多尺度融合特 征图进行 卷积处理， 输出特征重加权向量， 包括： 利用轻量级卷积网络对输入进的多尺度融合特征图进行卷积操作， 将其塑造为特征重 加权向量。 9.根据权利要求1所述的基于特征增强多尺度融合的小样本PCB缺陷检测方法， 其特征 在于， 在步骤4和步骤5之间， 还 包括： 步骤4.5、 利用所述新类数据集划分为查询集的查询集图像对模型进行测试， 通过检测 指标对模型性能进行评判。 10.一种基于特 征增强多尺度融合的小样本PCB缺陷检测装置， 其特 征在于， 包括： 采集模块， 用于构建基类数据集和新类数据集； 其中， 所述基类数据集包含样本图像及 其标注信息， 所述 新类数据集包括PCB图像及其标注信息； 任务划分模块， 用于将所述基类数据集和所述新类数据集分别划分为由查询集图像和 支持集图像组成的任务数据集； 任务数据处 理模块， 包括： 查询集处理分支模块， 用于使用DarkNet ‑53网络提取输入的查询集图像的特征图， 再 对特征图进行 特征增强处 理， 输出增强后的查询集特 征图； 支持集处理分支模块， 使用BI ‑FU多尺度特征融合模块先提取输入的支持集图像的多 个不同尺度的特征图， 并用该模块对所述多个不同尺度的特征图进行融合， 得到多尺度融 合特征图； 再对多尺度融合特 征图进行 卷积处理， 输出特征重加权向量；权　利　要　求　书 2/3 页 3 CN 115496741 A 3