(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127834.X (22)申请日 2022.09.16 (71)申请人 浙江交工路桥建 设有限公司 地址 310000 浙江省杭州市滨江区江陵路 2031号钱江大厦20楼 申请人 浙江大学 (72)发明人 翁艾平　许子彦　董振勇　项向阳　 赵阳　蔡锦程　徐荣桥　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 彭剑 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/80(2017.01)G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的水下混凝土质量 检测方法 (57)摘要 一种基于卷积神经网络的水下混凝土质量 检测方法， 包括： (1)获取混凝土灌注过程中水下 混凝土的图像数据集， 对图像进行畸变矫正、 裁 剪处理； (2)用生成对抗网络进行图像增强， 将增 强的图像标注后分成训练集、 验证集和测试集； (3)构造并训练改进的Mask  RCNN网络， 该网络用 于对图像进行语义 分割； (4)应用过程中， 实时获 取钻孔灌注桩灌注过程中水下混凝土图像， 图像 处理后输入Mask  RCNN网络进行语义分割， 对分 割后的图像进行二值化； (5)根据二值化图像， 得 到混凝土骨料和砂浆的配比变化、 混凝土中的护 壁泥浆或孔壁坍塌土体混入的位置及比例。 利用 本发明， 可实时掌握钻孔中混凝土的离析情况， 为导管埋入混凝土的合理深度和提升速度提供 依据。 权利要求书2页 说明书5页 附图3页 CN 115511808 A 2022.12.23 CN 115511808 A 1.一种基于卷积神经网络的水 下混凝土质量检测方法， 其特 征在于， 包括以下步骤： (1)使用工业相机获取混凝土灌注过程中水下混凝土的图像数据集， 并对图像进行畸 变矫正、 裁剪处理； (2)用生成对抗网络GAN进行图像增强， 将增强的图像标注后随机分成训练集、 验证集 和测试集； (3)构造并训练改进的Mask  RCNN网络， 该网络用于对图像进行语义分割， 得到混凝土 中骨料的具体位置及其 面积信息； 其中， 改进的Mask  RCNN网络具体结构为： 对于特征提取主干网络采用ResNet101和FPN； ResNet101的卷积层中添加有卷积注意 力模块CBAM， 卷积层输出的结果， 先通过一个通道注意力模块， 再经过一个空间注意力模 块， 最终进行加权得到提取的特征； FPN把ResNet101所提取的特征通过 自底向上以及自顶 向下两个过程， 自顶向下过程既利用了顶层的强语义特征， 又利用了底层的高分辨率信息， 通过融合 这些不同层的特 征得到共享特 征， 使不同尺度的特 征图都有丰富的语义信息； 获得的共享特征输入到区域推荐网络RPN， 通过RPN进行分类、 定位， 将RPN生成的候选 框投影到特 征图获得相应的特 征矩阵； 使用ROI Align对候选框进行特征提取， 使用双线性内插 的方法获得坐标为浮点数的 像素点上的图像数值， 得到固定尺寸的特 征图； 用全连接层进行分类和回归， 并用mask分支提取类别的蒙版， 对每个ROI预测对应的二 值掩膜， 以判定是否为目标检测的部分； 两者结合 最后完成图像分割； (4)应用过程中， 实时获取钻孔灌注桩灌注过程中水下混凝土的图像， 图像处理后输入 训练好的改进的Mask  RCNN网络中进行语义分割， 并使用opencv对分割后的图像进行图像 二值化； (5)根据二值化的图像， 得到混凝土骨料和砂浆的配比变化、 混凝土中的护壁泥浆或孔 壁坍塌土体混入的位置及比例。 2.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(1)中， 用opencv对工业相机进行标定， 获取相机的内部参数， 再对获取的水下混凝土 图像进行畸变矫 正， 并对图像边 缘进行裁 剪。 3.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(2)中， 先对图像进行全变 分去噪， 再用生成对抗网络 GAN进行图像增强， 对图像增强后 的图片使用拉普拉斯滤波器锐化， 进行边 缘增强。 4.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(2)中， 将增强的图像标注后按7:2:1的比例随机分成训练集、 验证集和 测试集。 5.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(3)中， 训练改进的Mask  RCNN网络时， 利用反向传播算法对网络迭代训练， 并优化训练 全局参数使网络 输出损失函数值下降并收敛。 6.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(3)中， 区域推荐网络RPN的回归参数为： 权　利　要　求　书 1/2 页 2 CN 115511808 A 2其中， (x,y)表示矩阵框的中心点， (w,h)表示矩 形框的宽度和长度， tx和ty分别表示x轴 方向和y轴方向RPN预测框的偏移量； tw和th分别表示矩形框的宽度和高度的尺度偏移量。 7.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(3)中， 使用ROI  Align对候选框进行特征提取， 使用双线性内插的方法获得坐标为浮 点数的像素点上的图像数值具体包括： 使用ROI  Align遍历每一个候选框， 保持浮点数以及 每个单元边界不做量化， 并将候选框 分割成k*k个单元， 在每个单元中计算固定四个坐标位 置， 用双线性内插的方法计算出这四个位置的值， 最后进行最大池化操作。 8.根据权利要求1所述的基于卷积神经网络的水下混凝土质量检测方法， 其特征在于， 步骤(5)的具体过程为： 对二值化图像的像素点采用聚类方式， 聚类算法采用K ‑means聚类 方法， 以像素点实际坐标位置和像素点灰度作为聚类特征依据， 最后求得混凝土骨料和砂 浆的配比变化， 进一 步计算出混凝 土中的护壁泥浆或孔 壁坍塌土体混入位置及比例。权　利　要　求　书 2/2 页 3 CN 115511808 A 3