(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840355.6 (22)申请日 2022.07.18 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件园华 南师范大学软件学院 (72)发明人 曾碧卿　蔡剑　郑辛茹　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 实体关系抽取方法、 装置、 电子设备及存储 介质 (57)摘要 本发明涉及一种实体 关系抽取方法： 获取待 抽取的自然文本， 并输入预训练好的语 言编码模 型， 得到token序列； 将token序列输入第一预训 练语言模型， 得到第一隐藏向量表征序列； 根据 第一隐藏向量表征序列进行主体实体和主体实 体涉及的关系类型识别， 根据主体实体涉及的关 系类型对token序列进行主体标签的标注， 主体 标签包括多个对应不同关系类型的主体关系标 签， 主体关系标签用于标注主体实体对应的 token； 将token序列输入第二预训练语言模型， 得到第二隐藏向量表征序列； 根据第二隐藏向量 表征序列进行客体实体识别， 并对token序列进 行客体标签的标注； 根据主体标签、 主体实体涉 及的关系类型和客体标签， 构建关系三元组。 能 够在实体关系重 叠中， 抽取正确关系的实体对。 权利要求书2页 说明书9页 附图3页 CN 115357723 A 2022.11.18 CN 115357723 A 1.一种实体关系抽取 方法， 其特 征在于， 包括 步骤： 获取待抽取的自然文本， 并输入预训练好的语言编码模型， 得到token序列， 所述待抽 取的自然 文本中包括主体实体、 客体实体及关系类型信息； 将所述to ken序列输入第一预训练语言模型， 得到第一隐藏向量表征序列； 将所述第一 隐藏向量表征序列输入主体实体序列标注模型， 其中， 所述主体实体序列 标注模型用于根据所述第一隐藏向量表征序列进行主体实体和主体实体涉及的关系类型 识别， 根据所述主体实体涉及的关系类型对 所述token序列进 行主体标签的标注， 所述主体 标签包括多个对应不同关系类型的主体关系标签， 所述主体关系标签用于标注所述主体实 体对应的to ken； 根据所述主体实体涉及的关系类型， 将所述token序列输入第二预训练语言模型， 得到 与不同关系类型对应的第二隐藏向量表征序列； 将所述第二 隐藏向量表征序列输入客体实体序列标注模型， 其中， 所述客体实体序列 标注模型用于根据所述第二隐藏向量表征序列进行客体实体识别， 并对所述token序列进 行客体标签的标注； 根据所述主体标签、 所述主体实体涉及的关系类型和所述 客体标签， 构建 关系三元组。 2.根据权利要求1所述的方法， 其特征在于， 在所述主体实体序列标注模型的训练中， 所述主体标签还包括客体关系标签， 所述客体关系标签用于标注所述token序列中所述客 体实体对应的to ken。 3.根据权利要求1 ‑2中任一项所述的方法， 其特征在于， 所述第一预训练语言模型的嵌 入层包括单词嵌入层和位置嵌入层， 所述单词嵌入层用于计算所述token序列中t oken的嵌 入， 所述位置嵌入层用于计算所述to ken序列中每一to ken的位置的嵌入。 4.根据权利要求1所述的方法， 其特征在于， 根据所述主体实体涉及的关系类型， 将所 述token序列输入第二预训练语言模型， 得到与不同关系类型对应的第二隐藏向量表征序 列， 包括步骤： 根据所述主体实体涉及的关系类型确定关系类型token， 将所述token序列中的首个 token替换为所述关系类型token， 将替换后的所述token序列输入第二预训练语 言模型， 得 到与不同关系类型对应的第二隐藏向量表征序列。 5.根据权利要求1所述的方法， 其特征在于， 所述第 二预训练语言模型的嵌入层包括单 词嵌入层、 位置嵌入层和主体关系感知嵌入层， 所述单词嵌入层用于计算所述t oken序列中 token的嵌入， 所述位置嵌入层用于计算所述token序列中token的位置的嵌入， 所述主体 关 系感知嵌入层用于计算所述token序列中token的关系信息的嵌入， 所述token序列中主体 实体对应的to ken的关系信息指向所述主体实体所 涉及的关系类型。 6.根据权利要求1所述的方法， 其特征在于， 所述主体实体序列标注模型通过损失函数 Lsubject进行训练， 所述损失函数Lsubject的表达式为： 其中， D表示用于训练的token序列的数量， Lj表示第j个token序列 xj的长度， 表示第j权　利　要　求　书 1/2 页 2 CN 115357723 A 2个token序列xj中第t个token的真实标签， 表示第j个token序列xj中第t个token的预测标 签概率， θsubject表示所述主体实体序列标注模型的可 学习参数。 7.根据权利要求1所述的方法， 其特征在于， 所述客体实体序列标注模型通过损失函数 型Lobject进行训练， 所述损失函数Lobject的表达式为： 其中， D表示用于训练的token序列的数量， Lj表示第j个token序列xj的长度， 表示第j 个token序列xj中第t个token的真实标签， 表示第j个token序列xj中第t个token的预测标 签概率， θobject表示所述 客体实体序列标注模型的可 学习参数。 8.一种实体关系抽取装置， 其特 征在于， 包括： 序列获取模块， 用于获取待抽取的自然文本， 并输入预训练语言编码模型， 得到token 序列， 所述待抽取的自然 文本中包括主体实体、 客体实体及预定义的关系类型； 第一向量表征获取模块， 用于将所述token序列输入第一预训练语言模型， 得到第一隐 藏向量表征序列； 主体实体识别模块， 用于将所述第一 隐藏向量表征序列输入主体实体序列标注模型， 其中， 所述主体实体序列标注模型用于根据所述第一隐藏向量表征序列进 行主体实体和主 体实体涉及的关系类型识别， 根据所述主体实体涉及的关系类型对所述token序列进行主 体标签的标注， 所述主体标签包括多个对应不同关系类型 的主体关系标签， 所述主体关系 标签用于标注所述主体实体对应的to ken； 第二向量表征获取模块， 用于根据所述主体实体涉及的关系类型， 将所述token序列输 入第二预训练语言模型， 得到与不同关系类型对应的第二隐藏向量表征序列； 客体实体识别模块， 用于将所述第二 隐藏向量表征序列输入客体实体序列标注模型， 其中， 所述客体实体序列标注模型用于根据所述第二隐藏向量表征序列进行客体实体识 别， 并对所述to ken序列进行客体标签的标注； 关系三元组构建模块， 用于根据所述主体标签、 所述主体实体涉及的关系类型和所述 客体标签， 构建 关系三元组。 9.一种电子设备， 其特 征在于： 包括： 处理器； 存储器， 用于存 储由所述处 理器执行的计算机程序； 其中， 所述处 理器执行所述计算机程序时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 其特征在于， 所述 计算机程序被执 行时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115357723 A 3