(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164829.6 (22)申请日 2022.09.23 (71)申请人 华能澜沧江水电股份有限公司 地址 650000 云南省昆明市官渡区世纪城 中路1号 申请人 河海大学　 华能集团技 术创新中心有限公司 (72)发明人 张洪涛　迟福东　郭有安　毛莺池　 陈豪　万旭　字陈波　王龙宝　 彭欣欣　余记远　李洪波　赵欢　 余意　吴光耀　翟笠　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李玉平(51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于相似一致性自蒸馏的无人机巡检缺陷 分类方法及装置 (57)摘要 本发明公开一种基于相似一致性自蒸馏的 无人机巡检缺陷分类方法及装置， 设计了一个自 蒸馏缺陷图像 分类模型， 采用自蒸馏训练策略压 缩模型以便于在小型应用设备上实现高精度图 像分类工作， 该模型主要分为两部分： 基于相似 一致性知识构建和相似一致性知识传递。 基于相 似一致性知识构建部分通过计算Mini ‑batch内 实例间的相关关系， 得到相似矩阵。 相似一致性 知识传递部分则在自蒸馏缺陷图像分类模型层 间传递相似矩阵， 细化底层次相似性， 捕获丰富 的上下文场景和局部特征信息。 本发 明针对图像 分类模型容量大且复杂， 无法在 小型无人载具设 备上使用的问题， 设计了自蒸馏模型， 提高缺陷 图像的分类效率和精度。 权利要求书3页 说明书8页 附图2页 CN 115457006 A 2022.12.09 CN 115457006 A 1.一种基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征在于， 包括如下步 骤： 步骤1)获取大坝立体巡检过程中的缺陷图像， 采集混凝土表面不同类型的缺陷图像， 进行图像预处 理， 对缺陷图像进行分类标注， 构建缺陷分类专用数据集； 步骤2)将ResNet ‑32作为基准网络， 利用软注意力机制， 将三维特征图在 特征维度上压 平， 获取图像的特征权值分布， 形成二维注意力图， 利用欧拉距离计算注意力图之间的相关 性， 得到相似矩阵， 作为自蒸馏缺陷图像 分类模型中基于相似一致性知识构建部 分， 获取相 似一致性知识； 步骤3)将步骤2)中得到的相似矩阵在自蒸馏缺陷图像分类模型层间逐层传递， 作为自 蒸馏缺陷图像分类模型中相似一致性知识传递部分， 得到相似一致性损失， 表示相似一致 性知识监 督， 联合真实标签监 督， 修正自蒸馏缺陷图像分类模型的训练方向； 步骤4)将步骤2)中的基于相似一致性知识构建部分与步骤3)中的相似一致性知识传 递部分结合， 构建自蒸馏缺陷图像分类模型； 步骤5)将构建的缺陷分类专用数据集中的缺陷图像数据输入到构建的自蒸馏缺陷图 像分类模型， 训练自蒸馏缺陷图像分类模型， 并进行精度测试； 步骤6)将训练好的自蒸馏缺陷图像分类模型迁移到应用设备上， 基于应用设备实时采 集图像， 实现在线缺陷图像分类。 2.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征 在于， 将训练好的自蒸馏缺陷图像分类模型迁移到无人机设备上， 基于无人机系统实时采 集大坝混凝 土表面缺陷图像， 实现在线缺陷图像分类。 3.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征 在于， 所述 步骤1)的缺陷分类专用数据集构建包括以下 过程： 1‑1)从网络以及实地拍摄所得的资料中采集大坝混凝土表面不同类型的缺陷图像， 并 将缺陷图像进行分类标注。 1‑2)对分类后的缺陷图像进行筛选， 选取符合清晰度要求的缺陷图像， 统一图像格式， 得到缺陷图像数据集； 1‑3)采用随机分配的方式将缺陷图像数据集划分为支持集、 查询集以及测试集。 4.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征 在于， 所述步骤2)中将ResNet ‑32作为基准网络， 利用软注意力机制， 将三维特征图在特征 维度上压平， 获取图像的特征权值分布， 形成二 维注意力图， 利用欧拉距离计算注意力图之 间的相关性， 得到相似矩阵， 作为自蒸馏缺陷图像分类模型中基于相似一致性知识构建部 分， 获取相似一 致性知识； 具体包 含以下步骤： 2‑1)采用残差网络ResNet ‑32作为基准网络， 将单个缺陷图像输入， 在经过每个 ResBlock卷积操作后， 生成三维特征图， 利用软注意力机制， 将三维特征图在通道上压平， 获取图像的特征权值分布， 得到单个图像输入在经过每个ResBlock处理后输出的二维注 意 力图； 2‑2)网络模型不同层次聚焦注意力图的不同区域， 获得不同的特 征表达； 2‑3)利用欧拉距离， 计算同一层 次Mini‑batch内注意力图的相似性， 得到注意力图之 间的相似矩阵。权　利　要　求　书 1/3 页 2 CN 115457006 A 25.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征 在于， 所述步骤3)中的将得到的相似矩阵在自蒸馏缺陷图像分类模型层间逐层传递， 让浅 层相似矩阵近似于深层相似矩阵， 作为自蒸馏缺陷图像分类模型中相似一致性知识传递部 分， 得到相似一致性损失， 表示相似一致性知识监督， 联合真实标签监督， 修正自蒸馏缺陷 图像分类模型的训练方向； 具体包 含以下步骤： 3‑1)将深层部分的ResBlock当作教师， 浅层部分的ResBlock当作学生， 引导Mini ‑ batch浅层Block获取深层Block的注意力相关性， 使浅层ResBlock模仿深层ResBlock的相 似矩阵， 得到相似一 致性损失Lossmimic； 3‑2)将真实标签作为传统监督， 修正模型的训练方向， 得到来自真实标签的损失 LossGT； 3‑3)整个模型的损失函数Tot alloss由相似一致性损失Lossmimic和来自真实标签的损 失LossGT组成。 6.根据权利要求1所述的基于相似一致性自蒸馏的无人机巡检缺陷分类方法， 其特征 在于， 所述步骤6)将训练好的自蒸馏缺陷图像分类模型迁移到无人机设备上， 基于无人机 系统实时采集大坝混凝 土表面缺陷图像， 实现在线缺陷图像分类； 所述无 人机系统包括： 6‑1)数据采集模块， 通过搭载在无人机上双目相机， 对拍摄范围内大坝的缺陷图像进 行采集、 存 储； 6‑2)图像识别模块， 接收无人机实时拍摄的缺陷图像， 利用构建的自蒸馏缺陷图像分 类模型进行实时分析缺陷图像的种类信息； 6‑3)数据传输模块， 将图像识别模块拍摄的图像信息和其分类信息进行传输； 6‑4)地面站系统， 接受无人机拍摄的缺陷图像和缺陷图像识别后的分类信息， 然后制 定飞行路线； 6‑5)飞控系统， 接收地面站发出的指令， 控制无人机对需要识别的区域进行拍照、 识 别、 传输。 7.一种基于相似一致性自蒸馏的无人机巡检缺陷分类装置， 其特征在于， 包括如下内 容： 构建缺陷分类专用数据集模块， 获取大坝立体巡检过程中的常见缺陷图像， 采集混凝 土表面不同类型的缺陷图像， 进 行图像预处理， 结合大坝缺陷库知识对缺陷图像进 行标注， 构建缺陷分类专用数据集； 基于相似一致性知识构建模块， 将ResNet ‑32作为基准网络， 利用软注意力机制， 将三 维特征图在特征维度上压平， 获取图像的特征权值分布， 形成二 维注意力图， 利用欧拉距离 计算注意力图之间的相关性， 得到相似矩阵， 作为自蒸馏缺陷图像分类模型中基于相似一 致性知识构建部分， 获取相似一 致性知识； 相似一致性知识传递模块， 将基于相似一致性知识构建模块中得到的相似矩阵在自蒸 馏缺陷图像分类模型层间逐层传递， 作为自蒸馏 缺陷图像分类模型中相似一致性知识传递 部分， 得到相似一致性损失， 表示相似一致性知识监督， 联合真实标签监督， 修正自蒸馏缺 陷图像分类模型的训练方向； 构建自蒸馏缺陷 图像分类模型模块， 将基于相似一致性知识构建模块中的基于相似一 致性知识构建部分与相似一致性知识传递模块中的相似一致性知识传递部 分结合， 构建自权　利　要　求　书 2/3 页 3 CN 115457006 A 3