(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210812714.7 (22)申请日 2022.07.12 (71)申请人 成都航天科工大 数据研究院有限公 司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区成都市天府新区兴隆街 道湖畔路西段天府菁蓉中心D区A6号 楼4、 5层 (72)发明人 王开业　谭启涛　孙广栋　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 王会改 (51)Int.Cl. G06F 16/36(2019.01) G06K 9/00(2022.01)G06K 9/62(2022.01) (54)发明名称 基于多模态和深层语义挖掘技术的泥浆泵 故障诊断方法 (57)摘要 本发明公开了一种基于多模态和深层语义 挖掘技术的泥浆泵故障诊断方法， 该方法包括： 根据采集的泥浆泵各部件的噪点音频数据， 进行 部件声源定位和波形特征提取； 获取泥浆泵各部 件的关键参数； 其中， 关键参数包括振动信号、 液 缸压力和应力值信号数据； 构建泥浆泵故障诊断 相关的知识图谱本体模型， 提取泥浆泵故障诊断 相关实体和关系， 并构建知识图谱； 基于构建的 知识图谱， 采用多模态数据表示、 对齐和融合， 以 及利用自然语言处理和知识 图谱对泥浆泵各部 件之间关联关系进行深层语义挖掘， 得到泥浆泵 故障诊断结果。 本发明显著提高了泥浆泵检修效 率， 从而提升石油钻井企业的生产效率， 对于企 业的生产实 践具有极其重要的意 义。 权利要求书2页 说明书4页 附图1页 CN 115168608 A 2022.10.11 CN 115168608 A 1.一种基于多模态和深层语义挖掘技术的泥浆泵故障诊断方法， 其特征在于， 包括以 下步骤： 步骤1： 根据采集的泥浆泵各部件的噪点音频数据， 进行部件声源定位和波形特征提 取； 步骤2： 获取泥浆泵各部件的关键参数； 其中， 所述关键参数包括振动信号、 液缸压力和 应力值信号数据； 步骤3： 构建泥浆泵故障诊断相关的知识图谱本体模型， 提取泥浆泵故障诊断相关实体 和关系， 并构建知识图谱； 步骤4： 基于构建的知识图谱， 采用多模态数据表示、 对齐和融合， 以及利用自然语言处 理和知识图谱对泥浆泵各部件之间关联关系进行深层语义挖掘， 得到泥浆泵故障诊断结 果； 所述多模态数据包括噪点音频、 传感器数据和说明书 文本数据。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤1包括： 通过在泥浆泵各部件的噪点位置放置多个声音传感器， 每个传感器用于采集特定部件 在运行过程中的噪点音 频数据； 基于傅里叶变换和小波变换的时域 ‑频域滤波， 对噪点音频 数据去噪， 然后进行部件声源定位和波形 特征提取。 3.根据权利要求2所述的方法， 其特征在于， 基于傅里叶变换和梅尔倒谱分析， 对所述 噪点音频数据进 行处理， 建立模 型M1， 提取时域特征、 频域特征、 感知特征， 利用AdaBoost元 算法形成故障分类 器C1。 4.根据权利要求3所述的方法， 其特征在于， 所述时域特征包括自相关； 所述频域特征 包括MFCC； 所述感知特 征包括响度和尖锐度。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤2包括： 在泥浆泵各部件加入振动传感器和压力传感器收集泥浆泵振动信号、 液缸压力和应力 值信号数据， 并将收集到的关键参数实时传输 到数据库中。 6.根据权利要求5所述的方法， 其特征在于， 基于所述振动信号、 液缸压力和应力值信 号数据， 建立主成分分析模 型M2， 通过AdaBoost元算法， 故障发生时间段的数据变化特征形 成故障分类 器C2； 其中， 所述数据变化特 征包括波形、 峰度、 偏度。 7.根据权利要求1所述的方法， 其特 征在于， 所述 步骤3包括： 结合行业专家构建泥浆泵故障诊断相关的知识图谱本体模型， 根据泥浆泵结构图、 故 障诊断说明书、 泥浆泵使用说明书， 提取泥浆泵故障诊断相关实体和关系， 并构建知识图 谱。 8.根据权利要求7所述的方法， 其特征在于， 所述根据泥浆泵结构图、 故障诊断说明书、 泥浆泵使用说明书， 提取泥浆泵故障诊断相关实体和关系， 并构建知识图谱， 包括： 步骤301： 根据泥浆泵结构图、 故障诊断说明书、 泥浆泵使用说明书， 确定设备部件作 为 实体， 设备部件结构特征作为实体之间的关系， 故障现象、 可能原因、 排除方法作为设备部 件的属性； 步骤302： 结合行业词典和信息抽取技术， 提取文本中的实体、 关系、 属性； 利用深层语 义分析， 建立普通文本 到实体/关系之间的映射。 9.根据权利要求1所述的方法， 其特征在于， 所述步骤4中， 采用基于transformer框架 的预训练多模态模型对文本数据进行特征表示； 其中， 所述文本数据包括音频波形图像和权　利　要　求　书 1/2 页 2 CN 115168608 A 2故障现象描述、 结构图。 10.根据权利要求1所述的方法， 其特 征在于， 所述 步骤4包括： 步骤41： 将故障描述的文本作为输入， 通过关键词抽取提取出文本中的关键特征； 其 中， 所述关键特 征包括过高的压力； 步骤42： 将步骤1中形成的故障分类器C1和步骤2中形成的故障分类器C2输出的故障类 别打分， 采用集成学习进行融合， 最后输出 结果； 步骤43： 对步骤41中提取的关键特征在知识图谱中查找对应的故障现 象与对应的可能 原因和排除方法， 与步骤42中的输出结果进 行对比， 排除可能原因中的干扰项， 获得最 终的 故障原因， 并根据排除方法快速解决泥浆泵故障。权　利　要　求　书 2/2 页 3 CN 115168608 A 3