(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211214076.5 (22)申请日 2022.09.30 (71)申请人 陈家骏 地址 150000 黑龙江省哈尔滨市香坊区和 兴路26号东北林业大 学 (72)发明人 陈家骏　万梦佳　官义清　曾梓晏　 李丹　王昊　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/56(2022.01) G06V 10/774(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的林下经济作物生产线 杂质检测的方法 (57)摘要 本发明公开了一种基于深度学习的林下经 济作物生产线杂质检测的方法， 属于杂质检测领 域， 该检测方法具体步骤如下： (1)采集生产线信 息并进行图像处理； (2)标注杂质信息以训练深 度学习模型； (3)通过深度学习模型进行判断区 分； (4)构建检测平台并实时显示检测结果； 本发 明能够选 择合适的深度学习模型进行杂质分析， 降低了使用局限性， 为图像检测以及识别提供技 术支撑， 实时性更强、 准确度更高， 提高对图像分 类精度， 能够直观高效地展现杂质识别效果。 权利要求书2页 说明书5页 附图3页 CN 115471492 A 2022.12.13 CN 115471492 A 1.一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 该检测方 法具体步骤如下： (1)采集生产线信息并进行图像处 理； (2)标注杂质信息以训练深度学习模型； (3)通过深度学习模型进行判断区分； (4)构建检测平台并实时显示检测结果。 2.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 步骤(1)中所述图像处 理具体步骤如下： 步骤一： 通过工业相机采集林下经济作物生产线的运输信息以获取相对应的视频数 据， 之后对采集到影像数据进行逐帧提取， 依据提取出 的视频图像的显示比例来确定分块 数量， 并对该视频图像进行分块处 理； 步骤二： 将分块后的各组视频图像通过傅里叶正反变换进行图像空间转换至频率空间 的相互变换， 同时当视频图像转换至频率空间后， 对各视频图像中的高频成分进行分析提 取， 并对其进行低通滤波处 理， 再各视频图像转换至图像空间中； 步骤三： 对处理完成的视频图像中各像素点R、 G以及B三组分量数据进行采集， 再依据 采集到的三组分量对 X、 Y以及Z三组刺激值进行计算， 以构建L*a*b*模型， 并收集该视频图像 L*、 a*以及b*的平均值作为该视频图像的特 征向量， 并将其反馈给工作人员进行查看。 3.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 步骤(2)中所述深度学习模型 具体包括U ‑Net网络模型以及De eplabV3+模型。 4.根据权利要求2所述的一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 步骤(2)中所述深度学习模型 具体训练步骤如下： 第一步： 工作人员通过图像标注工具labelme对各组视频图像中的杂质特征影像进行 手工标注， 之后精确称量杂质和作 物重量， 同时按照其在图片中所占的面积制作图片面积 ‑ 重量数据集并进行线性回归分析以获取重量与图片面积的关系； 第二步： 通过计算标注的杂质特征影像的方差系数对其进行特征降维处理， 并筛除对 于表征能力差的特征影像， 之后将这些特征影像按照7: 3的比例划分为训练集和测试集， 再 对训练集进行 标准化处理； 第三步： 将训练样本输送到深度学习模型中， 设置模型具体参数， 采用长期迭代法训练 该深度学习模型， 并将测试集输入到训练好的模型中， 若测试准确率满足期 望值， 则停止训 练， 反之继续上述步骤， 最后， 对满足期望值的深度学习模型进行准确率、 检出率和误报率 评估， 并生成相对应的曲线走势图。 5.根据权利要求4所述的一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 第二 步中所述方差系数 具体计算公式如下： 式中， σ 表示特 征影像的标准差； μ表示特 征影像的均值； CV表示特征影像的方差系数， 若方差系数越大， 则表示越重要， 反之， 则表示不重要， 予 以剔除； 第二步中所述标准 化处理具体计算公式如下：权　利　要　求　书 1/2 页 2 CN 115471492 A 2其中， x表示提出的特征影像参数； mean(x)表示对所提特征影像参数进行平均处理； std(x)表示对特 征影像参数的标准差 。 6.根据权利要求3所述的一种基于深度学习的林下经济作物生产线杂质检测的方法， 其特征在于， 步骤(3)中所述判断区分步骤如下： S1： 从采集到的N组视频图像 中选择一组作为验证数据， 并通过该验证数据来验证两组 深度学习模型 的精度， 并通过均方根误差对各组深度学习模型的检测能力进行计算， 如此 重复n次， 再对比两组深度学习模型的精度， 并选取精度较高的进行杂质检测； S2： 若U‑Net网络模型判断精度较高， 则通过U ‑Net网络模型提取视频图像中的主干特 征信息， 并通过卷积和最大池化堆叠以获取五个初步有效特征层， 再对获取 的特征层进行 特征融合； S3： 之后加强提取得主干特征， 并进行上采样和特征融合， 并获得一个 融合所有特征的 有效特征层， 再利用最终 获得的最后一个有效特 征层对每一个特 征点进行分类； S4： 若DeeplabV3+模型判断精度较高， 则通过DeeplabV3+模型控制编码器提取特征的 分辨率， 再用不同级别的萎缩性卷积核对压缩四次的初步有效特征层进 行特征提取以及合 并， 并用1x1卷积压缩特征， 之后解码时， 利用1x1卷积调整初步有效特征层通道数， 再将其 与空洞卷积后的有效特征层的上采样结果进 行堆叠， 最后分离卷积块以获得整张图片的特 征浓缩； S5： 对上述步骤获取的分类结果或浓缩结果进行归一化处理， 并输出检测框， 之后对检 测框信息进行收集以生 成对应检测框坐标， 再对相关视频图像进 行扩大化剪裁以获取杂质 图像， 并通过RPN过滤掉各组杂质图像中属于背 景的简单负样 本， 挑选出可能含有杂质的区 域进行分类和回归； S6： 在各组不同语义信 息的杂质图像的每一个点上生成一组或多组锚框并对这些锚框 进行分类和回归， 再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测， 并将检测结 果反馈给工作人员进行查看。权　利　要　求　书 2/2 页 3 CN 115471492 A 3