(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147759.3 (22)申请日 2022.09.19 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 张伟平　王瑞琳　余有灵　姜超　 聂伟强　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 廖程 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于旋转目标检测技术的混凝土表面 裂缝识别方法 (57)摘要 本发明涉及一种基于旋转目标检测技术的 混凝土表面裂缝识别方法， 包括以下步骤： S1建 立针对裂缝目标的数据集， 对裂缝区域进行数据 标注； S2对数据集进行数据增强操作； S3在数据 集上对标注信息进行K均值聚类分析， 确定锚框 参数； S4按照设定比例随机划分数据集， 形成训 练集与测试集； S5基于Crack ‑RRPN网络构建用于 裂缝检测的深度学习模型； S6对Crack ‑RRPN网络 进行迁移学习训练； S7对训练好的网络进行测 试， 进行超参数的调优； S8使用测试中表现最好 的Crack‑RRPN网络进行结构表面裂缝检测。 与现 有技术相比， 本发明提供的基于旋转目标检测技 术的混凝土结构裂缝识别方法， 既可以避免传统 目标检测结果不够精确的问题， 也可以提升卷积 神经网络对裂缝这类长宽比悬殊目标的检测效 果。 权利要求书2页 说明书6页 附图4页 CN 115511817 A 2022.12.23 CN 115511817 A 1.一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其特征在于， 包括以下步 骤： S1建立针对裂缝目标的旋转目标检测数据集， 对裂缝区域进行 数据标注； S2对数据集进行旋转、 模糊、 翻转、 明暗以及背景替换的数据增强操作； S3在数据集上对标注信息进行 K均值聚类分析， 确定锚框参数； S4按照设定比例随机划分数据集， 形成训练集与测试集； S5基于Crack‑RRPN网络构建用于裂缝检测的深度学习模型； S6对Crack ‑RRPN网络进行迁移学习训练； S7采用测试集对训练好的网络进行测试， 并根据测试 结果进行超参数的调优； S8使用测试中表现最 好的Crack ‑RRPN网络进行 结构表面裂缝检测。 2.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S1中建立数据集的具体方法为： S11采集不同场景 下的裂缝图像， 并通过 人工标注法进行 数据标注， 得到 旋转框； S12采用已有的裂缝语义分割数据集的数据 标注， 自动 计算裂缝最小外包围框参数， 生 成多个旋转框标注。 3.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S2中背景替换操作的具体步骤为： S21基于标注结果创建掩膜， 确定裂缝区域在原图像中的位置； S22使用掩膜进行图像布尔运算， 保留原图像中裂缝区域， 去除其他背景图像处于掩膜 指示位置的部分； S23使用图像加法运 算将两者融合， 实现背景替换。 4.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S3中确定锚框参数 具体过程 为： S31采取不同的簇数， 对旋转框标注的高、 宽进行 K‑means聚类； S32计算旋转框标注与聚类中心的平均偏差， 并根据偏差 选取簇数； S33按锚框参数与聚类中心尽量相近的原则确定锚框参数。 5.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S5中构建Crack ‑RRPN网络的具体过程 为： S51将图像传入深度残差神经网络中提取图像特征， 结合特征金字塔网络输出五个不 同尺度的特 征图； S52将步骤S51中输出的特征图输入RPN网络， RPN网络先对特征图进行卷积和池化操 作， 然后使用旋转锚框策略， 在特征图的每一个像素点上都生成K个不同尺寸、 长宽比以及 角度的锚框， 其中K为预定义尺寸数量、 长 宽比数量与角度数量的乘积； S53将整个区域建议网络分为两个分支， 第一个分支负责确定锚框是否包含裂缝目标， 计算每一个锚框的置信值， 即其被分类为裂缝的概率， 第二个分支负责进行锚框到标注框 的初步回归， 然后对位置回归后的锚框进行非极大值抑制， 接下来再按照置信度对剩余锚 框进行排序， 提取并输出25 6个排序靠前的锚框作为 候选区域； S54根据步骤S53得到的候选区域尺寸， 采用尺度分配公式将候选区域分配至特征图上 进行ROI池化， 得到固定尺寸的特 征向量；权　利　要　求　书 1/2 页 2 CN 115511817 A 2S55将步骤S54得到的特征向量输入全连接网络中， 进行类别置信度预测与边框位置的 精确回归， 输出类别置信度 与检测框位置参数vpred； S56采用非极大值抑制过 滤输出的检测框， 得到最终检测结果。 6.根据权利要求5所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S54中采用的尺度分配公式为： 其中， w， h分别表示候选区域的宽度和高度， k是候选 区域适宜的特征图层级， k0为特征 图层级， k0＝4。 7.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S6中的网络训练具体过程 为： S61建立RPN网络与R ‑CNN阶段的损失函数， 并计算对应损失项； S62采用近似联合训练法进行端到端的学习， 即将步骤S61中计算的损失项相加作 为最 后的损失， 并据此进行反向传播， 更新 参数。 8.根据权利要求1所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的步骤S7中调整超参数的具体步骤为： S71将测试集输入训练好的网络中， 结合网络输出与测试集标注计算输出的平均准确 率； S72调整正负样本阈值， 按步骤S6的方法进行模型训练， 比较结果的平均准确率值， 以 平均准确率 值最高模型的超参数为 最优超参数。 9.根据权利要求7所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的RPN网络的损失函数包括二分类损失与候选区域位置回归损失， 其中分类 损失采用交叉熵损失， 回归损失采用Smo oth‑L1损失。 10.根据权利要求7所述的一种基于旋转目标检测技术的混凝土表面裂缝识别方法， 其 特征在于， 所述的R ‑CNN阶段采用含SkewIOU因子的损失函数进行模型训练， 该损失函数同 样包含分类损失Lcls与回归损失Lreg两部分， 其中分类损失采用交叉熵损失， 回归损失采用 带有Skew IOU因子的Smo oth‑L1损失， 该阶段损失函数的表达式为： 其中， 为基于网络输出的类别置信度， vpred为基于网络输出的检 测框位置参数， {Pcrack,Pbackground}为标注的类别置信度， v为标注的检测框位置参数。权　利　要　求　书 2/2 页 3 CN 115511817 A 3