(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211230631.3 (22)申请日 2022.10.09 (66)本国优先权数据 202211173581.X 202 2.09.26 CN 202211186320.1 202 2.09.27 CN (71)申请人 浙江开浦科技有限公司 地址 323000 浙江省丽水市莲都区城北街 368号绿谷信息产业园1号楼2楼201- 37 申请人 浙江大学 (72)发明人 饶秀勤　应义斌　高源　朱逸航　 黄心瑶　张小敏　徐惠荣　李麟　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 孙承尧(51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/68(2022.01) G06V 10/774(2022.01) (54)发明名称 基于图像处理的沃柑质检方法、 装置、 装备 及存储介质 (57)摘要 本申请公开了一种基于图像处理的沃柑质 检方法、 装置、 装备及存储介质， 其中， 方法包括： 从采集的一个沃柑的多张沃柑图像中识别出沃 柑处于预设姿态的预设姿态图像； 根据预设姿态 图像的预设姿态的类型对进行粗糙度检测、 俯卧 畸形检测和侧卧畸形检测； 根据粗糙度检测、 俯 卧畸形检测和侧 卧畸形检测的检测结果输出该 沃柑的质检结果； 所述装置、 装备用于实现该方 法， 所述存储介质存储执行该方法的程序。 本申 请的有益之处在于提供了一种 能同时对沃柑的 畸形和粗皮缺陷进行有效检测的基于图像处理 的沃柑质检方法、 装置、 装备及存 储介质。 权利要求书3页 说明书16页 附图9页 CN 115471494 A 2022.12.13 CN 115471494 A 1.一种基于图像处 理的沃柑质检方法， 包括： 从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态图像； 根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、 俯卧 畸形检测和侧卧 畸 形检测； 根据所述粗糙度检测、 俯卧 畸形检测和侧卧 畸形检测的检测结果输出该沃柑的质检结 果； 其中， 所述根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、 俯卧畸形检 测和侧卧畸形检测， 包括： 当所述预设姿态图像的预设姿态为仰卧姿态时， 对所述预设姿态图像进行粗糙度检测 和俯卧畸形检测； 当所述预设姿态图像的预设姿态为俯卧姿态时， 对所述预设姿态图像进行侧卧 畸形检 测； 其中， 所述 粗糙度检测包括： 将所述预设姿态图像进行处 理以获得除去了果柄的无柄图像； 根据所述无柄图像进行 特征提取以获取 特征值； 将所述特征值输入至一个决策树模型以使所述决策树模型以使所述决策树模型输出 代表沃柑表面 粗糙度分类的分类值； 其中， 所述俯卧畸形检测包括： 对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮 廓线的轮廓图片； 根据所述沃柑轮廓图片提取特征值输入至针对该预设姿态的一个畸形检测模型以使 所述畸形检测模型输出畸形检测的检测结果； 其中， 所述侧卧畸形检测包括： 对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮 廓线的轮廓图片； 根据所述 沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的检测结果。 2.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 所述决策树模型被构造为一个XGBoost决策树模型， 训练所述XGBoost决策树模型， 包 括： 采集沃柑的原 始图像并按照沃柑粗 糙度分类规则进行 人工分类； 对所述原 始图像进行图像分割以获取分割图像； 对所述分割图像进行处 理以除去所述分割图像中的果柄从而获得 所述无柄图像； 根据所述无柄图像进行 特征提取以获取 所述无柄图像的特 征值； 将所述无柄图像的特征值作为输入数据， 将所述无柄图像所对应的原始图像的分类值 作为输出 数据对所述XGBo ost决策树模型进行训练。 3.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 所述沃柑粗糙度分类规则将沃柑表面 粗糙度分类分为 粗皮和细皮。 4.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 其中， 所述从采集的一个沃柑的多张沃柑图像中识别出沃柑处于预设姿态的预设姿态权　利　要　求　书 1/3 页 2 CN 115471494 A 2图像， 包括： 将所述沃柑图像输入至一个姿态识别模型以使所述姿态识别模型输出姿态识别结果； 所述姿态 识别模型被构造为Mobi leNetv3_s mall网络模型。 5.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 其中， 所述对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图 像中的轮廓线的轮廓图片， 包括： 对所述预设姿态图像进行色彩空间选择； 对所述预设姿态图像进行色彩空间选择后的图像进行边 缘检测以获得果品轮廓图像； 对所述果品轮廓图像进行轮廓提取已获得果品轮廓掩膜图像； 对所述果品掩膜图像进行二次边 缘检测已获得 所述轮廓图片。 6.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 其中， 所述畸形检测模型被构造为 一个LightGBM网络模型。 7.根据权利要求1所述的基于图像处 理的沃柑质检方法， 其特 征在于： 其中， 所述根据 所述沃柑轮廓图片中沃柑的轮廓线的直线拟合的结果输出畸形检测的 检测结果， 包括： 对所述沃柑轮廓图片中沃柑的轮廓线 进行直线拟合以获得若干拟合 直线； 计算各个拟合 直线在一个坐标系的斜 率； 计算各个斜率之间差值的绝对值， 如果绝对值的最小值大于等于预设值则 输出侧卧检 测为畸形的结果。 8.一种基于图像处 理的沃柑质检装置， 包括： 识别模块， 用于从采集的一个沃柑的多 张沃柑图像中识别出沃柑处于预设姿态的预设 姿态图像； 检测模块， 用于根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、 俯卧畸 形检测和侧卧畸形检测； 输出模块， 用于根据所述粗糙度检测、 俯卧畸形检测和侧卧畸形检测的检测结果输出 该沃柑的质检结果； 其中， 所述根据所述预设姿态图像的预设姿态的类型对进行粗糙度检测、 俯卧畸形检 测和侧卧畸形检测， 包括： 当所述预设姿态图像的预设姿态为仰卧姿态时， 对所述预设姿态图像进行粗糙度检测 和俯卧畸形检测； 当所述预设姿态图像的预设姿态为俯卧姿态时， 对所述预设姿态图像进行侧卧 畸形检 测； 其中， 所述 粗糙度检测包括： 将所述预设姿态图像进行处 理以获得除去了果柄的无柄图像； 根据所述无柄图像进行 特征提取以获取 特征值； 将所述特征值输入至一个决策树模型以使所述决策树模型以使所述决策树模型输出 代表沃柑表面 粗糙度分类的分类值； 其中， 所述俯卧畸形检测包括： 对所述预设姿态图像进行图像分割处理以获得具有沃柑在所述预设姿态图像中的轮权　利　要　求　书 2/3 页 3 CN 115471494 A 3