(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211225720.9 (22)申请日 2022.10.09 (71)申请人 东北林业大 学 地址 150040 黑龙江省哈尔滨市香坊区和 兴路26号 (72)发明人 刘大洋　王恩凤　朱良宽　吕凤　 章慧婷　郭敬涛　 (74)专利代理 机构 哈尔滨奥博专利代理事务所 (普通合伙) 23220 专利代理师 叶以方 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/20(2022.01) G06V 10/26(2022.01) G06V 10/58(2022.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于高光谱图像和迁移学习的梨损伤 识别方法 (57)摘要 本发明提出一种基于高光谱图像和迁移学 习的梨损伤识别方法。 本发明引入了迁移学习思 想， 利用不同损伤类型之间的相似性， 将在旧领 域即挤压损伤学习过的模型和知识应用于新的 领域即碰撞损伤。 本发明由于使用两次迁移的网 络结构， 与ResNet 50直接迁移 到梨碰撞损伤数据 的网络相比， 一方面充分利用了挤压损伤数据预 训练模型对高光谱图像的浅层特征和深层特征 提取能力， 另 一方面能够缩短网络的训练时间， 且有效地提高了梨碰撞损伤高光谱图像数据的 识别精度。 权利要求书2页 说明书5页 附图1页 CN 115511855 A 2022.12.23 CN 115511855 A 1.一种基于高光谱图像和迁移学习的梨损伤识别方法， 其特征在于， 所述方法具体包 括： 步骤1、 利用公共数据集 ImageNet训练深度学习网络ResNet  50， 得到预训练模型M； 步骤2、 采集梨挤压损伤和碰撞损伤样品的原始高光谱数据， 并对各个原始高光谱数据 进行预处理， 获得预处理后的高光谱数据； 步骤3、 对预处 理后的高光谱数据进行 特征提取得到梨挤压损伤的特 征图像； 步骤4、 利用梨挤压损伤的特征图像对模型M进行微调， 记微调收敛后的模型为M1， 保存 训练好的模型M1结构及其权 重参数； 步骤5、 把训练好的权重参数作为初始化权值迁移到梨碰撞损伤数据集上进行训练与 微调， 最终得到基于ResNet  50网络迁移学习的梨碰撞损伤 识别模型M2。 2.根据权利要求1所述的方法， 其特征在于， 在步骤1中， 二维数据集ImageNet在 RestNet 50模型上进行预训练， 其中， ResNet  50网络结构由49个卷积层和1个全连接层组 成； 图像输入之后首先有卷积层， 卷积核大小为7 ×7像素， 卷积核的数量为64， 步长为2像 素， 再经过16个残差块， 每个残差块有三层卷积， 每个不同卷积结构的残差块之间通过 stride为2的下采样联接， 卷积之后 是一个全连接层； ResNet  50结构最后一层的全连接层 包含1000个通道， 模型M的最后一部分采用SoftMax分类 器用于执 行分类。 3.根据权利 要求2所述的方法， 其特征在于， 在分类器中添加线性函数dropout操作， 把 最后一个全连接层的输入连接到有256个输出单元的线性层， 接着连接Relu层和dropout 层， 设置dr opout＝0.4， 训练时 随机舍弃全 连接层40％的神经元个数用于防止过拟合， 最后 是256×4的线性层， 输出为 4通道的SoftMax层。 4.根据权利要求3所述的方法， 其特征在于， 所述预处理包括采集样本、 黑 白校正和去 除背景。 5.根据权利要求 4所述的方法， 其特 征在于， 所述采集样本具体为： 首先采集无损伤梨高光谱图像， 分别制备挤压损伤、 碰撞损伤样本， 在制备损伤后1h、 12h和24h各采集一次高光谱图像， 其中挤压损伤、 碰撞损 伤后1h、 12h和24h各80个样本， 无 损伤样本以及损伤样本总数为5 60， 高光谱图像的大小为512 ×1198×224。 6.根据权利要求5所述的方法， 其特 征在于， 所述 黑白校正具体为： 在与样本采集相同的条件下， 首先扫描标准白色校正板， 得到全白的标定图像Rwhite； 然 后扫描黑色校正板， 得到全黑的标定图像Rblack； 最后按照校正公式完成图像标定， 采集得到 的原始图像变成校正图像； 校正公式为： 其中Roriginal为原始图像数据， Rblack为全黑图像数据， Rwhite为全白图像数据， R为校正后 的图像数据。 7.根据权利要求6所述的方法， 其特 征在于， 所述去除背景 具体为： 提取出高光谱图像数据中的第118个波长， 使用大津阈值算法对图像进行梨与背景的 分割， 得到二值化掩膜， 再对掩膜进行联通区域标记， 只保留掩膜中的最大联通区域， 对掩 膜进行填充， 将最大联通区域内的所有区域的灰度值改为1， 最后使用半径为3像素的圆形 结构元素对掩膜进行腐蚀操作， 得到掩膜图像及去除背景后的光谱图像。权　利　要　求　书 1/2 页 2 CN 115511855 A 28.根据权利要求7所述的方法， 其特征在于， 在步骤3中， 对预处理后的图像先使用PCA 降维， PC2、 PC3、 PC4和PC5中可以观察到梨中损伤的位置， PC2含有最明显的损伤信息， PC3、 PC4和PC5中损伤信息不明显， 将三者的均值进 行波段比算法增强， 再进 行中值滤波处理； 将 经PCA处理后的P C2图像、 经波 段比之后的图像和中值滤波之后的图像， 分别作为B、 G、 R成分 合成一张真彩色图像， 将真彩色图像作为检测梨损伤的特 征图像输入 模型。 9.根据权利要求8所述的方法， 其特征在于， 对特征图像随机进行上下翻转和左右翻 转， 最终得到无损伤、 挤压损伤1h、 12h和24h的特征图像各48 0张， 为使输入的图像数据符合 基于ResNet  50网络迁移学习的要求， 把图像尺寸缩放 成224×224×3， 按照3： 1比例随机划 分样本的训练集和 测试集。 10.根据权利要求9所述的方法， 其特征在于， 在步骤4中， 将挤压损伤样本作为目标域 数据输入模型M， 训练网络模型， 当网络训练30个epoch后模型验证集的准确率稳定在95％ 以上， 损失函数也趋于稳定， 保存第30个epoch后验证集的准确率最高的模 型M1的结构及其 权重参数。权　利　要　求　书 2/2 页 3 CN 115511855 A 3