(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210539195.1 (22)申请日 2022.05.18 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 傅卫平　何林涛　高志强　杜慧龙　 刘波　彭丽霞　陈小虎　杨世强　 李睿　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王奇 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/901(2019.01) G06F 16/904(2019.01) G06N 3/08(2006.01) (54)发明名称 面向人机协作装配任务的知识图谱构建方 法 (57)摘要 本发明公开了一种面向人机协作装配任务 的知识图谱构建方法， 步骤包括： 1)建立面向人 机协作装配的知 识图谱构建流程图； 2)进行装配 知识资源的采集； 3)将 采集到的装配知识统一预 处理成自然语言文本的形式； 4)对预处理过的自 然语言文本语料进行句法分析； 5)采用 “基于规 则模板的方法 ”规则， 从句法分析的结果中进行 信息抽取； 6)采用 “实体匹配 ”的方法对信息抽取 得到的三元 组数据进行知识融合； 7)对 数据层中 的知识进行概念化抽象得到模式层知识， 用本体 库进行管理； 8)将数据层和模式层知识以属性图 模型的方式存储在图数据库Neo4j中， 并以图结 构的形式进行可视化。 本发明方法简介有效， 逻 辑性强， 具有广泛的应用价 值。 权利要求书3页 说明书8页 附图6页 CN 114911951 A 2022.08.16 CN 114911951 A 1.一种面向人机协作装配任务的知识图谱构建方法， 其特 征在于， 按照以下步骤实施： S1： 分析实际的人机协作装配任务， 得到具体的知识图谱构建流 程图； S2： 从不同渠道采集 不同模态、 不同结构的原 始装配数据； S3： 将采集到的多源异构装配数据统一预处 理成自然语言文本的形式； S4： 采用LTP语言技术平台对预处理过的自然语言文本语料进行句 法分析， 包括分词、 词性标注、 命名实体识别、 依存句法分析和语义角色标注； S5： 采用“基于规则 模板的方法 ”设计新规则， 从句法分析的结果中进行信息抽取， 包括 实体抽取、 关系抽取和 属性抽取； S6： 采用“实体匹配 ”的方法对信息抽取得到的三元组数据进行知识融合， 以消除实体 指称项的多样性和歧义 性问题， 包括实体消歧和共指消解； S7： 对数据层中的知识进行概念化抽象得到模式层知识， 用本体库对这些知识进行管 理； S8： 将数据层和模式层知识以属性图模型的方式存储在图数据库Neo4j中， 并以图结构 的形式进行 可视化， 进 而得到面向人机协作装配的知识图谱。 2.根据权利要求1所述的面向人机协作装配任务的知识图谱构建方法， 其特征在于： 所 述的步骤S3中， 具体过程是： S31： 将企业生产资料中包含的半结构化自然语言文本抽取出来， 进行句法调整， 使其 顺畅有序， 之后按照装配顺序归 入本文形式的文档A中； S32： 从人机协作装配场景中采集到的图片数据采用自然语言描述的方式得到其中所 包含的语义信息， 补充到文档A中； S33： 从零件的三维CAD模型中得到其属性特征和装配特征， 此类数据直接作为结构化 的数据另行保存， 无需补充到文档A中； S34： 将从互联网资源和专业书籍中采集到的相关知识资源直接补充到文档A中。 3.根据权利要求1所述的面向人机协作装配任务的知识图谱构建方法， 其特征在于： 所 述的步骤S5中， 对于三元 组的定义如下： 设知识图谱为G， 头实体为H， 尾实体为T， 头实体 ‑尾 实体之间的关系为 R， 实体标签为L， 实体属性为V， 关系属性为P， 则将这些要 素组织在一起， 定义结构化 三元组的表达式为： G＝[H:L{AT T:V}]‑(R{ATT:P})‑[T:L{ATT:V}] 具体过程是： S51： 从依存句法分析的结果中进行关系抽取， 得到语料中包含的核心谓词和关联谓 词， 即实体抽取的备选特征词， 其中， 依存句法分析的结果以(序号 1， 序号2， 关键词)的形式 表示， 具体包 含以下小步骤： S511： 如果关键词是HED， 序号2用0表示， 则序号1所指代的那个词就作为核心谓词， 有 且仅有一个； S512： 如果关键词是COO， 且序号2所指代的那个词是核心谓词， 则序号1所指代的那个 词就作为关联谓词， 可以有 多个关联谓词； S52： 依据装配过程需要设计规则， 从备选特征词集合中剔除掉不符合要求的特征词， 剩余的词作为连接 头实体和尾实体的关系特 征词R； S53： 依据语义角色标注的结果， 从语料中去匹配每个关系特征词R所对应的主语和宾权　利　要　求　书 1/3 页 2 CN 114911951 A 2语， 得到结构化三元组的头实体H和尾实体T， 其中， 语义角色标注的结果以(序号1， [(关键 词， 序号2， 序号3)， ……])的形式表 示， 关键词所指代的词的范围在[序号2， 序号3]区间内， 具体包含以下分步骤： S531： 如果序号1所指代的词是关系特征词R， 且既存在用关键词A0或者ARGM ‑MNR标识 的词H， 又存在用关键词A1标识的词T， 则词H作为关系特征词R对应的头实体抽取， 词T作为 关系特征词R对应的尾实体抽取； S532： 如果序号1所指代的词是关系特征词R， 且既存在用关键词A1标识的词H， 又存在 用关键词A2标识的词T， 则词H作为关系特征词R对应的头实体抽取， 词T作为关系特征词R对 应的尾实体抽取； S533： 如果序 号1所指代的词是关系特征词R， 且只存在用关键词 A2标识的词H， 则词H作 为头实体抽取； S534： 在实体抽取时， 添加额外的三元组， 具体方式如下： S5341： 如果三元组[H， R， T]中的头实体H用关键词ARGM ‑MNR标识， 且修饰词H的使动词 是“用”， 则在该条三元组抽取完成后， 自动添加三元组[操作者， 使用， H]； S5342： 如果三元组[H， R， T]中的头实体H用关键词A2标识， 则在该条三元组抽取完成 后， 自动添加三元组[操作者， 拿， H]； S54： 在实体属性抽取过程中， 依存句法分析的结果以(序号1， 序号2， 关键词)的形式表 示， 具体包括以下小步骤： S541： 如果关键词是ATT， 且序 号2所指代的词包含在头实体或尾实体列表中， 则表示序 号1所指代的词 与序号2所指代的词存在状中关系， 那么抽取序号 1所指代的词 作为序号2所 指代词的一个属性 值V； S542： 如果关键词是SBV， 且序 号2所指代的词包含在头实体或尾实体列表中， 则表示序 号1所指代的词 与序号2所指代的词存在主谓关系， 那么抽取序号 1所指代的词 作为序号2所 指代词的一个属性 值V； S55： 在关系属性抽取过程中， 语义角色标注的结果以(序号1， [(关键词， 序号2， 序号 3)，……])的形式表示， 具体包括以下分步骤： S551： 如果序号1所指代的词是关系特征词R， 且关键词是ARGM ‑ADV， 则表示区间[序号 1， 序号2]所指代的部分在语料中作关系特征词R的状语， 那么抽取[序号 1， 序号2]所指代的 部分作为关系特 征词R的一个属性 值P； S552： 如果序号1所指代的词是关系特征词R， 且关键词是ARGM ‑TMP， 则表示序号1所指 代的词在语料中作关系 特征词R的时间状语， 那么抽取序号1所指代的词作为关系 特征词R 的一个属性 值P。 4.根据权利要求1所述的面向人机协作装配任务的知识图谱构建方法， 其特征在于： 所 述的步骤S6中， 具体过程是： S61： 利用聚类方法构 建各实体的分类集合A， 将语义信息相近的实体归为一类， 进而得 到各分类集 合的高维向量表示； S62： 利用分词结果得到实体指称项E的高维向量表示， 以BERT预训练模型为基础， 相同 的实体指称项在不同的上 下文环境中具有不同的向量表示； S63： 计算每 个实体指称项和分类集 合之间的余弦相似度cos(A,E)， 表达式为：权　利　要　求　书 2/3 页 3 CN 114911951 A 3