(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211267037.1 (22)申请日 2022.10.17 (71)申请人 哈尔滨市科佳通用机电股份有限公 司 地址 150060 黑龙江省哈尔滨市经开区哈 平路集中区潍 坊路2号 (72)发明人 马金涛　马凌宇　秦昌　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 高倩 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度神经网络的列车闸调器控制杆螺 母故障检测方法 (57)摘要 基于深度神经网络的列车闸调器控制杆螺 母故障检测方法， 解决了 现有检测器检测列车闸 调器控制杆螺母故障效果差的问题， 属于铁路列 车故障检测领域。 本发明包括： 获取过车的铁路 列车的图像， 截取列车闸调器控制杆螺母图像， 输入至故障检测模型中， 获得检测结果； 故障检 测模型包括对象流分支、 像素流 分支和非极大值 抑制模块， 对象流分支对列车闸调器控制杆螺母 的特征图像进行目标检测； 像素流分支提取出特 征图中的像素特征编码变量， 根据像素特征编码 变量对检测到的目标进行边界细化， 再输入至非 极大值抑制模块， 输出列车闸调器控制杆螺母的 分类信息和位置信息； 如果没有检测到列车闸调 器控制杆螺母， 上传故障报文。 权利要求书2页 说明书7页 附图3页 CN 115527207 A 2022.12.27 CN 115527207 A 1.基于深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特征在于， 所述方法 包括： S1、 获取过车的铁路列车的图像， 截取列车闸调器控制杆螺母图像； S2、 将列车闸调器控制杆螺母图像输入至故障检测模型中， 故障检测模型输出检测结 果； 故障检测模型包括SSD特征提取网络、 对象流分支、 像素流分支和 非极大值抑制模块， 列车闸调器控制杆螺母图像输入至S SD特征提取网络， 提取 出特征图； 对象流分支用于对特征图进行目标检测， 得到列车闸调器控制杆螺母的类别特征 class、 边界框特 征box及Anc hor特征编码； 像素流分支提取出特征图中的像素特征编码变量， 根据像素特征编码变量对边界框特 征box进行聚类， 生 成二进制掩码 M， 根据二进制掩码 M对边界框特征box进行边界细化， 得到 细化后的边界框特 征及类别特 征class； 细化后的边界框特征及类别特征class输入至非极大值抑制模块， 输出列车闸调器控 制杆螺母的分类信息和位置信息； S3、 如果检测结果中没有检测到列车闸调器控制杆螺母， 则图像为故障图像， 上传故障 报文， 否则转入S1， 获取 下一张图像。 2.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 所述故障检测 模型包括SSD特征提取网络、 Anchor ‑目标检测器、 像素编码模块、 聚 类模块、 上采样模块、 边界细化模块和非极大值抑制模块； 列车闸调器控制杆螺母图像输入至SSD特征提取网络， 提取出特征图， 同时输入至 Anchor‑目标检测器和像素编码模块， Anchor‑目标检测器输出列车闸调器控制 杆螺母的类别特征class、 边界框特征box及 像素xj的Anchor特征编码qj； 根据类别特征class、 边界框特征b ox及Anchor特征编码qj获得classj、 boxj、 boxj、 σj和 centerj； classj表示像素xj的物体的类别； boxj表示像素xj相对于边界框的四周的偏移量， σj表 示像素xj处的pj和qj的固定边距； centerj代表该像素xj处包含物体的概 率； 像素编码模块对输入的特 征图进行处 理， 输出像素 特征编码变量pj； 将所有预测特征图的像素xj的值分组为元组{classj， boxj， centerj， qj， σj}， 输入至聚 类模块； 聚类模块根据像素特征编码变量pj对元组进行聚类,生成二进制掩码M， 得到信息A {classj， boxj， centerj， M}； 信息A输入至上采样模块， 进行 上采样后输出至边界细化模块； Anchor‑目标检测器输出的边界框特征box同时输入至边界细化模块， 边界细化模块根 据二进制掩码M对边界框特征box进行边界细化， 细化后的边界框特征及{classj， boxj， centerj}及类别特征class输入至非极大值抑制模块， 非极大值抑制模块输出列车闸调器 控制杆螺母的分类信息和位置信息 。 3.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 所述类别特征class输入至像素类别提取模块提取出classj； 边界框特征box输入权　利　要　求　书 1/2 页 2 CN 115527207 A 2至边界回归 模块， 提取boxj； boxj输入至边距提取模块， 得到σj； Anchor特征编码pj输入至概 率提取模块， 得到 centerj。 4.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 二进制掩码M为： 5.根据权利要求2所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 根据二进制掩码M对边界框特 征box进行边界细化： 式中： x表示细化后边界， X表示边界框特征box中左边界水平坐标的离散变量； M'∈Rh×w 表示M的前 景通道； P(X＝ i|M')表示掩码的后验概 率。 6.根据权利要求5所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 式中： P(X＝ i)表示掩码的先验概 率； P(M′|X＝i)表示掩码的似然概 率； w表示图像高度。 7.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 所述SSD特征提取网络包括依次连接的卷积层Conv4_3、 VGG16网络、 卷积层fc7、 卷 积层Conv6_2、 卷积层Co nv7_2、 卷积层Co nv8_2和卷积层Co nv9_2、 池化层和全连接层。 8.根据权利要求1所述的深度神经网络的列车闸调器控制杆螺母故障检测方法， 其特 征在于， 对故障检测模型进行训练的样本数据集采用在铁路列车轨道周围搭设的成像设备 收集到列车图像， 使用lab elImg标注软件进行类别 标注， 数据集标签为列车闸调器控制杆 螺， 通过对样本数据集中数据进行旋转、 裁 剪、 加噪完成样本数据集的扩增。 9.一种计算机可读的存储设备， 所述存储设备存储有计算机程序， 其特征在于， 所述计 算机程序被执行时实现如权利要求1至8任一所述闸调器控制杆圆销和圆销开口销丢失检 测方法。 10.一种闸调器控制杆圆销和圆销开口销 丢失检测装置， 包括存储设备、 处理器以及存 储在所述存储设备中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执 行所述计算机程序实现如权利要求1至8任一所述闸调器控制杆圆销和圆销开口销丢失检 测方法。权　利　要　求　书 2/2 页 3 CN 115527207 A 3