(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152057.4 (22)申请日 2022.09.21 (71)申请人 中国科学院合肥物质科 学研究院 地址 230031 安徽省合肥市蜀山区蜀山湖 路350号 (72)发明人 朱锟鹏　毛杨坤　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于目标检测的选区激光熔融过程中熔池 与飞溅监测方法及应用 (57)摘要 本发明公开了一种基于目标检测的选区激 光熔融过程中熔池与飞溅监测方法及应用， 是使 用基于深度学习的目标检测网络进行飞溅与熔 池的识别与位置捕获， 其步骤包括： 1、 熔融加工 图像数据集构建， 2、 搭建目标检测模型， 包括： 特 征提取模块、 特征融合模块、 输 出模块， 3、 目标检 测模型的训练， 4、 通过目标检测模型得到待 监测 的选区激光熔融的近红外加工图像检测结果。 本 发明能在选区激光熔融加工过程的近红外图像 中， 精确的提取出图像中的飞溅与熔池位置信 息， 从而实现实时的加工过程的熔池与飞溅的过 程监测， 且提出的目标检测模型有着参数量少、 运算量少、 速度快、 检测精度高的特点， 进而能为 加工过程的实时检测提供重要的帮助。 权利要求书3页 说明书8页 附图6页 CN 115526852 A 2022.12.27 CN 115526852 A 1.一种基于目标检测的选区激光熔融过程中熔池与飞溅监测方法， 其特征在于， 包括 如下步骤： 步骤一： 构建输入网络的图像数据集： 采集选区激光熔融加工过程中的近红外 图像并进行剪裁处理， 得到熔融加工 图像， 并 对熔融加工图像中飞溅与熔池的位置和类别进行标注， 得到包含标注信息的图像数据集， 记为 其中， Imagei∈RC×H×W表示第i张熔融加工图像， C、 H和W分别为图像的通道数、 高度和长度； 表示第i张熔融加工图像中第n个物体的 标 注 信 息 ，Ni表 示 第 i 张 熔 融 加 工 图 像 I m a g ei中 的 标 注 物 体 数 量 ；且 其中， 代表了第i张熔融加工图像Imagei中第n个物体的类 别， 分别代表第i张熔融加工图像Imagei中第n个物体的位置信息， 为第n 个物体所在真实框的宽、 高， 为第n个物体所在真实框的中心点坐标； 所述物体包括熔 池、 飞溅； 步骤二： 以Yolov5s网络为基础网络模型， 搭建目标检测模型， 包括： 特征提取模块、 特 征融合模块、 输出模块； 步骤2.1： 所述特征提取模块由一个SCBA模块、 三个CBA模块、 m1+m2+m3个CSP_x模块、 两 个SCunit模块、 一个S PPF模块组成； 步骤2.1.1： 所述SCBA模块依次由一个卷积层、 一个归一化层、 一个激活函数层组成； 且 SCBA模块中卷积层的卷积核大小为 k×k； 任意一个CBA模块依次由一个卷积层， 一个归一化层， 一个激活函数层组成； 且每个CBA 模块中卷积层的卷积核大小均为 k'×k'； 任意一个CSP_x模块包括两个支路和一个CBA模块， 其中一个支路包括一个CBA模块与x 个残差结构， 另一个支路包括另一个CBA模块； 两个支路的输出通过堆叠操作后相连， 再连 接第三个CBA模块的输入； 任意一个SCunit模块由一个自校正卷积单元和一个加法器构成， 自校正卷积单元的输 出与SCunit模块的输入通过加法器相连； 其中， 所述自校正卷积单元由四个卷积层、 一个 Sigmoid激活函数、 一个平均池化层、 一个上采样层、 一个加法器、 一个乘法器组成； 所述自 校正卷积单元的输入按照通道数均分为两个部 分， 第一个部分输入依次经过一个平均池化 层、 第一个卷积层、 一个上采样层后输出， 上采样层的输出和 第一个部 分输入分别与加法器 相连后再与Sigmoid激活函数的输入相连； 第二个部 分输入通过第二个卷积层后输出， 第二 个卷积层的输出与Sigmoid激活函数的输出分别与过乘法器相连后， 再与第三个卷积层 Conv的输入相连； 第二个部分输入再通过第四个卷积层后输出， 第四个卷积层的输出与第 三个卷积层的输出通过堆叠操作后， 得到自校正卷积单 元最终的输出； 所述SPPF模块由两个卷积层、 三个最大池化层组成； SSPF模块的输入依次通过第一个 卷积层， 第一个最大池化层， 第二个最大池化层， 第三个最大池化层； 其中， 第一个卷积层的 输出与第一个最大池化层的输出、 第二个最大池化层的输出、 第三个最大池化层的输出通 过一个堆叠操作后相连， 堆叠操作后的输出通过第二个卷积层后， 得到SPPF模块最终的输 出；权　利　要　求　书 1/3 页 2 CN 115526852 A 2步骤2.1.2： 所述第i张熔融加工图像I magei输入所述特征提取模 块中， 并依次经过一个 SCBA模块、 第一个CBA模块和m1个CSP_x模块的处理后， 得到包含浅层语义信息的特征图 再依次经过第二个CB A模块与m2个CSP_x模 块的处理后， 得到包含中层语义信息的特征图 再依次经过第一个SCunit模块、 m3个CSP_x、 一个SPPF模块、 第三个CBA模块、 第二个 SCunit模块的处 理后， 得到包 含高层语义信息的特 征图 所述特征提取模块将代 表不同深度语义信息 输出给所述特征融合模块； 步骤2.2： 所述特 征融合模块由两个CBA模块与三个注意力机制CBAM模块组成； 步骤2.2.1： 任意一个卷积注意力CBAM模块包括通道注意力 模块和空间注意力 模块； 其 中， 所述通道注意力模块包括： 一个最大池化层、 一个平均池化层、 两个多层感知机层、 一个 加法器、 一个乘法器、 一个Sigmoid激活函数； 所述空间注意力模块包括： 一个最大池化层、 一个平均池化层、 一个乘法器、 一个卷积层； 卷积注意力CBAM模块的输入依次经 过通道注意力模块和空间注意力模块后输出； 通道注意力模块的输入分为两个支路， 第 一个支路依次包括第 一个最大池化层与第 一 个多层感知机层， 第二个支路依次包括第一个平均池化层和第二个多层感知机层； 第一个多层感知机层的输出与第二个多层感知机层的输出分别与加法器相连后再与 Sigmoid激活函数的输入相连， Sigmoid激活函数的输出与通道注意力模块的输入通过第一 个乘法器相连后输出， 第一个乘法器的输出作为通道注意力模块的输出并输入所述空间注 意力模块中， 所述空间注意力模的输入分别经过第二个最大池化层与第二个平均池化层处 理后再通过堆叠操作Concat连接， 再与所述卷积层的输入相连， 所述卷积层的输出与空间 注意力模块的输入分别与第二个乘法器的输入相连， 所述第二个乘法器的输出为注意力机 制CBAM模块的最终输出； 步骤2.2.2： 输入所述特征融合模块中， 经过第一个CBAM模块的处理后得 到输出低维特 征图 对 进行上采样操作后再依次输入第四个CBA模块、 第二个CBAM模块 中进行处理后， 输出中维特征图 对 进行上采样操作后再依次输入第五个CBA模块、 第 三个CBAM模块中进行处理后， 输出高维特征图 将 通过堆叠操作Concat相 连后， 得到特 征堆叠图p'i； 步骤2.3： 所述输出模块由两个CBA模块、 一个SCun it模块与Yo lo Head层组成； 所述Yolo  Head层为yolov5s网络的解码层， p'i依次经过第六个CBA模块、 第七个CBA模 块、 第三个SCunit模块的处理后， 得到特征融合图 所述Yolo  Head层将特征融合图 解码转换为目标检测模型输出 特征输出图 步骤3、 采用CIOU_loss损失函数来计算位置损失， 采用二值交叉熵损失函数来计算目 标置信度损失、 分类损失； 由所述位置损失、 目标置信度损失、 分类损失组成的总损失函数 Loss； 基于所述包含标注信息的图像数据集， 利用梯度下降法对所述目标检测模型进行训 练， 并计算所述总损失函数Loss以更新模 型参数， 当所述总损失函数Loss收敛时， 得到训练权　利　要　求　书 2/3 页 3 CN 115526852 A 3