(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211174805.9 (22)申请日 2022.09.26 (71)申请人 河钢数字技 术股份有限公司 地址 050000 河北省石家庄市高新区中山 东路856号科技创新 服务中心1号楼 (72)发明人 来博文　陈云朋　程佳鹏　葛春红　 宋涛　明勇杰　韩建辉　袁海燕　 (74)专利代理 机构 石家庄知住优创知识产权代 理事务所(普通 合伙) 13131 专利代理师 王丽巧 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/22(2022.01)G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的不同类型废钢异物检 测方法 (57)摘要 本发明提出了一种基于深度学习的不同类 型废钢异物检测方法， 包括步骤： 采集废钢回收 过程中废钢车卸货时的图像数据； 利用Mask  R‑ CNN算法模型提取图像数据中废钢所占像素区 域， 对废钢区域进行预处理； 对废钢异物进行分 类， 并基于废钢异物的类别， 利用注意力机制和 YOLOv5‑L算法构造多尺度 废钢异物 检测模型； 利 用训练好的废钢异物检测模型， 对废钢回收过程 中不同类型的废钢异物进行检测。 本发明通过构 建多尺度 废钢异物检测模型， 完成在废钢回收过 程中对不同类型废钢异 物进行检测。 权利要求书2页 说明书5页 附图5页 CN 115496730 A 2022.12.20 CN 115496730 A 1.一种基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所述方法包括如下 步骤： S1.采集废钢回收过程中废钢车卸货时的图像数据； S2.利用Mask  R‑CNN算法模型提取 图像数据中废钢所占像素区域， 对废钢区域进行预 处理； S3.对废钢 异物进行分类， 并基于废钢异物的类别， 利用注意力机制和YOLOv5 ‑L算法构 造多尺度废钢异 物检测模型； S4.利用训练好的废钢异物检测模型， 对废钢回收过程中不同类型的废钢异物进行检 测。 2.根据权利要求1所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所 述步骤S1 中， 采集图像数据的摄像头架设于钢厂验料场景9米高度的位置， 采集图像的大小 统一为4K分辨率。 3.根据权利要求1所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所 述步骤S2中， 利用Mask  R‑CNN算法对图像预处 理， 具体步骤 包括以下步骤： S2‑1.采集废钢车卸货时的图像数据， 制作训练集、 测试集和验证集； S2‑2.利用优化函数求解网络模型中的参数； 所述优化函数为TensorFlow中的adam   optimizer函数， 模型输入图像尺寸 为(512,512,3)； S2‑3.对Mask R‑CNN模型进行训练， 当L oss值达到需求时停止训练； S2‑4.对训练好的模型测试 预测效果， 若达 到需求则保存 模型， 否则继续训练； S2‑5.利用训练好的Mask  R‑CNN模型对图像进行预处理， 提取出回收废钢所占图像中 的像素区域， 将 废钢以外的区域 填充为一致的灰度。 4.根据权利要求1所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所 述步骤S3中， 将废钢异物定义为杂质类异物与危险品类两大类， 废钢杂质类异物又包括自 然杂质和金属杂质； 其中， 自然杂质为 非金属杂质， 分为土、 橡胶、 塑料、 油 和水五种， 金属杂 质分为有压块和铁 丝两种； 废钢危险品类异 物分为超长件、 门板和密闭容器三种。 5.根据权利要求4所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所 述步骤S3中， 多尺度废钢异 物检测模型的构造具体步骤 包括以下步骤： S3‑1.模型输入尺寸为(960,960,3)， 在YOLOv5 ‑L算法的主干网络中， 在第1次、 第3次和 第5次下采样后添加注意力机制CBAM模块； S3‑2.在YOLOv5 ‑L的特征融合层中， 分别在3个不同尺度的特 征层添加CBAM模块； S3‑3.基于废钢异 物的类别制作训练集和 测试集； S3‑4.采用Mosaic数据增强方法对样本集进行扩充； S3‑5.训练多尺度废钢异物检测模型， 使用的优化函数为TensorFlow中的adam   optimizer函数。 6.根据权利要求5所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所 述步骤S3 ‑3中， 对废钢异物的部分数据的标注进行优化， 对油或水使用最贴合的矩形框标 注， 对同一个土堆分别采用大、 中、 小框来进 行多尺寸的冗余式标注， 制作训练集 15000张和 测试集15 00张。 7.根据权利要求5所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 115496730 A 2述步骤S3 ‑5中， 对每种异物类别， 采用召回率Recall、 精确率Precision和平均精确度AP作 为模型的性能指标。 8.根据权利要求7所述的基于深度学习的不同类型废钢异物检测方法， 其特征在于， 对 所有的异 物类别， 计算所有类别在固定I oU值下的平均精确度AP值。权　利　要　求　书 2/2 页 3 CN 115496730 A 3