(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132897.4 (22)申请日 2022.09.16 (71)申请人 上海科技大 学 地址 201210 上海市浦东 新区华夏中路393 号 (72)发明人 马海能　武颖娜　宗德祥　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 倪静 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) G06T 7/00(2017.01) (54)发明名称 基于机器视觉的锌花评级方法、 装置、 终端 及介质 (57)摘要 本申请提供基于机器视觉的锌花评级 方法、 装置、 终端及介质， 包括： 将多个锌花图像按照预 设像素尺寸进行分割并对锌花形核点进行人工 标注后得到对应的单元图像及标签； 将单元图像 及其标签输入神经网络模型中进行训练和验证， 以输出每张单元图像的锌花形核点的密度图， 据 以得到每张单元图像的形核点数量； 采用聚类算 法对各单元图像的密度图进行拟合 以得到单元 图像中各锌花的形核点位置坐标， 据以获得形核 点最邻近距离并计算该单元图像所对应的形核 点最邻近距离的平均值； 将各单元图像的形核点 数量及形核点最邻近距离的平均值作为锌花评 级的特征向量， 输入至分类器中进行训练后得到 锌花分类模型， 以实现锌花自动评级。 权利要求书2页 说明书9页 附图3页 CN 115410044 A 2022.11.29 CN 115410044 A 1.一种基于 机器视觉的锌花评级方法， 其特 征在于， 包括： 将多个锌花图像按照预设像素尺寸进行分割并对锌花形核点进行人工标注后得到对 应的单元图像及标签； 将单元图像及其标签输入神经网络模型中进行训练和验证， 以输出每张单元图像的锌 花形核点的密度图， 据以得到每张单 元图像的形核点数量； 采用聚类算法对各单元图像的密度图进行拟合以得到单元图像中各锌花的形核点位 置坐标， 据以获得形核点最邻近距离并计算该单元图像所对应的形核点最邻近距离的平均 值； 将各单元图像的形核点数量及形核点最邻 近距离的平均值作为锌花评级的特征向量， 输入至分类器中进行训练后得到锌花分类模型， 供将待评级的锌花图像输入所述锌花评级 模型后输出对应的自动评级结果； 所述评级模型包括卷积神经网络， 高斯混合模型和分类 模型。 2.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于： 在对所述锌花图 像进行分割前先采用图像增强算法及图像平滑算法对锌花图像进 行预处理， 以增强图像的 对比度并消除图像的噪声干扰。 3.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于， 采用聚类算法对 各单元图像的密度图进行拟合以得到单元图像中各锌花的形核点位置坐标并计算形核点 最邻近距离， 包括： 采用聚类算法对各单元图像的密度图进 行拟合， 提取拟合结果中簇团的 中心点位置， 据以得到锌花图像的形核点坐标； 根据所述锌花图像的形核点坐标搜寻与之 相距最近的近邻锌花的形核点， 据以得到该锌花图像的形核点 最邻近距离 。 4.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于， 所述将单元图像 及其标签输入神经网络模型中进 行训练和验证， 包括将部 分的单元图像及其标签作为训练 集输入卷积神经网络或者注意力模型中进 行训练； 并将剩余的单元图像及其标签作为测试 集对训练得到的神经网络模型进行测试验证。 5.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于， 所述聚类算法包 括如下任一种： 高斯混合模型的聚类算法、 K ‑means聚类算法、 DBSCAN聚类算法、 OPTICS聚类 算法或BIRC H聚类算法。 6.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于， 所述分类模型包 括如下任一种： 决策树分类模型、 支持向量机 分类模型、 随机森林分类模型或贝叶斯分类模 型。 7.根据权利要求1所述的基于机器视觉的锌花评级方法， 其特征在于， 人工标注的锌花 形核点的形成过程包括： 任意标注一个锌花形核点后， 以该锌花形核点位基础， 标记其邻近 的锌花形核点， 直至 完成对锌花图像上 所有形核点的标注。 8.一种基于 机器视觉的锌花评级装置， 其特 征在于， 包括： 分割及标注模块， 用于将多个锌花图像按照预设像素尺寸进行分割并对锌花形核点进 行人工标注后得到对应的单 元图像及标签； 模型训练模块， 用于将单元图像及其标签输入神经网络模型中进行训练和验证， 以输 出每张单 元图像的锌花形核点的密度图， 据以得到每张单 元图像的形核点数量； 图像拟合模块， 用于采用聚类算法对各单元图像的密度图进行拟合以得到单元图像中权　利　要　求　书 1/2 页 2 CN 115410044 A 2各锌花的形核点位置坐标， 据以获得形核点最邻近距离并计算该单元图像所对应的形核点 最邻近距离的平均值； 锌花分类模块， 用于将各单元图像的形核点数量及形核点最邻 近距离的平均值作为锌 花评级的特征向量， 输入至分类器中进行训练后得到锌花分类模型， 供将待评级的锌花图 像输入所述锌花评级模型后输出对应的自动评级结果； 所述评级模型包括卷积神经网络， 高斯混合模型和分类模型。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至7中任一项所述的基于 机器视觉的锌花评级方法。 10.一种电子终端， 其特 征在于， 包括： 处 理器及存 储器； 所述存储器用于存 储计算机程序； 所述处理器用于执行所述存储器存储的计算机程序， 以使所述终端执行如权利要求1 至7中任一项所述的基于 机器视觉的锌花评级方法。权　利　要　求　书 2/2 页 3 CN 115410044 A 3