(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137353.7 (22)申请日 2022.09.19 (71)申请人 中国华能集团清洁能源技 术研究院 有限公司 地址 102209 北京市昌平区北七家未来科 技城华能人才创新创业基地实验楼A 楼 (72)发明人 葛戈　李小翔　张燧　邸智　 黄思皖　杨永前　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 张宇鸽 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于VGG网络的光伏板异物检测方法、 系统、 装置及介质 (57)摘要 本发明公开一种基于VGG网络的光伏板异物 检测方法、 系统、 装置及介质， 包括： 采集现场光 伏板图像， 并对光伏板图像进行预处理， 划分训 练集和测试集； 基于训练集和测试集对VGG网络 进行训练测试， 以自动归纳硅片作为训练目标， 得到最优化的VGG网络； 再次采集现场光伏板图 像， 并对再次采集光伏板图像进行预处理， 获取 增强图像信息后的 图像； 基于最优化的VGG网络， 对增强图像信息后的图像进行处理， 确定光伏板 上异物的尺 寸和类型特征； 对增强图像信息后的 图像进行可视化处理， 绘制图像热力图， 标注光 伏板上异物的位置。 本发明解决了巡检作业主观 性强、 实时性差、 效率低难题， 基于热力图精确描 述异物分布区域， 有助于指导后续针对性的光伏 板清扫维护工作。 权利要求书3页 说明书7页 附图2页 CN 115457001 A 2022.12.09 CN 115457001 A 1.基于VG G网络的光伏板异 物检测方法， 其特 征在于， 包括： 采集现场光伏板图像， 并对光伏板图像进行 预处理， 划分训练集和 测试集； 基于训练集和测试集对VGG网络进行训练测试， 以自动归纳硅片作为训练目标， 得到最 优化的VG G网络； 再次采集现场光伏板 图像， 并对再次采集光伏板 图像进行预处理， 获取增强图像信息 后的图像； 基于最优化的VGG网络， 对增强图像信息后的图像进行处理， 确定光伏板上异物的尺寸 和类型特征； 对增强图像信息后的图像进行可视化处理， 绘制图像热力图， 标注光伏板上异物的位 置。 2.根据权利要求1所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述对光 伏板图像进行 预处理， 具体为： 对图像进行翻转、 裁剪、 调节亮度， 扩充数据 集； 将图像裁剪为256 ×256像素的分辨率， 增强图像信息 。 3.根据权利要求2所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述基于 训练集和测试集对VGG网络进行训练测试， 以自动归纳硅片作为训练目标， 得到最优化的 VGG网络； 具体为： 基于训练集对VGG网络进行训练， 将训练后的VGG网络通过测试集进行测试； 判断VGG网 络的损失函数是否低于所设定的阈值； 若是， 输出最优化的VGG 网络， 若否， 再次进 行循环迭 代， 直至损失函数低于所设定的阈值； 所述阈值 为人工设定 。 4.根据权利 要求3所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述VGG网 络包括： 三个卷积核、 全局平均池化层、 全连接层、 softmax层； 所述每个卷积核均包括两个 卷积层和 最大迟化层； 所述最大迟化层对邻域内特征点取最大， 所述全局平均迟化层为对 邻域内特征点求平均值； 所述卷积层进行特征提取， 所述全连接层将卷积输出 的二维特征 图转化成一维的一个向量， 实现端到端的学习过程； 所述Softmax层的输入值是一个向量， 向量中元素为任意 实数的评 分值， 输出一个向量， 其中每个元素值在0到1之间， 且 所有元素 之和为1。 5.根据权利要求4所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述基于 最优化的VG G网络， 对增强图像信息后的图像进行处 理， 具体为： 其中z(u,v)为输出， xi,j为输入， ku‑i,v‑j为权重； 在卷积层， 数据以三维形式存在的， 在输入层， 如果是灰度图像， 只有1个特征， 如果是 彩色图像， 一般有3个特征图， 上一层的特征与对应的卷积核进 行卷积运算， 输出新的特征， 假定输入层是第l ‑1层， 它的输入特征图是Xl‑1(m×m)， 特征对应的卷积核是Kl(n×n)， 给每 一个输出加上一个偏置单 元B(l)， 卷积层的输出Zl((m‑n+1)×(m‑n+1))为：权　利　要　求　书 1/3 页 2 CN 115457001 A 26.根据权利要求5所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述确定 光伏板上异 物的尺寸和类型 特征， 具体为： 全连接层基于Softmax损失函数判断异 物种类， 如公式(3)所示： 其中zi为第i个节点的输出值， C为输出节点的个数， 即 分类类别个数。 7.根据权利要求6所述的基于VGG网络的光伏板异物检测方法， 其特征在于， 所述对增 强图像信息后的图像进行可视化处理， 绘制图片热力图， 标注光伏板上异物的位置， 具体 为： 基于梯度加权类激活图对图片进行可视化处理， 为获得任一类别c的宽度u和高度v的 定位图Grad ‑CAM 针对任一类别c的逻辑， yc的梯度相对于最后一个卷积层 的特征图Ak进行计算； 并全局平均 化回流的梯度， 获得神经元的重要性权重 捕获目标类 别c的特征图k； 其中， Z为特征图尺寸； i和j分别为特征图的横纵坐标； k为特征图通道； Ak为特征图的激 活值； 前向激活图的加权组合加上ReLU， 得到GradCAM， 如公式(5)所示： 其中， 为特征图权重。 8.基于VG G网络的光伏板异 物检测系统， 其特 征在于， 包括： 第一采集模块， 所述第一采集模块用于采集现场光伏板 图像， 并对光伏板 图像进行预 处理， 划分训练集和 测试集； 最优化模块， 所述最优化模块基于训练集和测试集对VGG网络进行训练测试， 以自动归 纳硅片作为训练目标， 得到最优化的VG G网络； 第二采集模块， 所述第二采集模块用于再次采集现场光伏板 图像， 并对再次采集光伏 板图像进行 预处理， 获取增强图像信息后的图像； 处理模块， 所述处理模块基于最优化的VGG网络， 对增 强图像信息后的图像进行处理， 确定光伏板上异 物的尺寸和类型 特征； 可视化模块， 所述可视化模块用于对增强图像信息后的图像进行可视化处理， 绘制图 片热力图， 标注光伏板上异 物的位置 。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上权　利　要　求　书 2/3 页 3 CN 115457001 A 3