(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210791774.5 (22)申请日 2022.07.07 (71)申请人 辽宁大学 地址 110000 辽宁省沈阳市沈北新区道义 南大街58号 (72)发明人 冯勇　张宁　徐红艳　王嵘冰　 (74)专利代理 机构 沈阳杰克知识产权代理有限 公司 21207 专利代理师 王洋 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合BERT网络与位置特征信息的实体关系 抽取方法及其应用 (57)摘要 融合BERT网络与位置特征信息的实体关系 抽取方法及其应用， 步骤如下： ( 1)实体数据采 集； (2)数据处理； (3)提出模型结构； (4)离线训 练； (5)在线测试； 本发明公开一种融合BERT网络 与位置特征信息的实体关系抽取方法。 通过上述 方法， 解决了传统的实体抽取方法存在信息冗 余、 实体重叠、 精确率不高等问题。 本方法先利用 BERT网络在文本上进行无监督预训练， 然后 在特 定的下游任 务上加入Bi ‑LSTM进行微调。 其次， 在 注意力机制的基础上添加位置特征信息， 选择性 地对某些信息进行关注。 最后， 实现实体关系识 别与分类。 本发明方法在公开数据集FB15K上进 行对比实验， 验证本发明方法具有更高的精确率 和良好的应用前 景。 权利要求书2页 说明书7页 附图2页 CN 115203434 A 2022.10.18 CN 115203434 A 1.融合BERT网络与位置特 征信息的实体关系抽取 方法， 其特 征在于， 其 步骤为： 1)实体数据采集： 获取专业垂直领域公开的数据集， 根据BIO标注采集样本； 2)数据处 理： 将得到实体样本分为训练集、 验证集和 测试集， 最大最小归一 化处理； 3)提出模型结构： 提出的融合BERT网络与位置特征信息的实体关系抽取模型， 由BERT 模型、 Bi‑LSTM、 线性层、 Attention层、 全连接层组成； 首先， BERT层捕获更强的上下文语义 信息， 其次， 通过Bi ‑LSTM拼接完整的时间步隐状态序列， 映射到线性层得到每个类别 标签 的得分， 然后， 通过Attention层分配权重， 选择特定信息与位置嵌入矩阵P在 全连接层拼接 区分相同实体在不同关系间的特 征表示， 最后通过实体分类矩阵C 完成实体分类预测； 4)离线训练： 利用训练集和正则化策略训练模型和保存实体分类矩阵C最优参数； 5)在线测试： 应用测试集验证模型性能或加载预训练参数微调整个模型微调， 利用参 数共享迁移学习实现模型及时训练。 2.根据权利要求1所述的融合BERT网络与位置特征信息的实体关系抽取方法， 其特征 在于， 所述的步骤3)中， 具体方法为： 3.1)数据经 过BERT模型与Bi ‑LSTM， 获得字级别对应的每 个类别标签的得分： 将BERT作为输入文本序列的编码器， 采用BERT获取隐含层状态向量Xt， 具体如公式(1) 所示： Xt＝Bertbase(wt) (1) 将其记作序列X＝(x1,x2,…,xn)； 将BERT网络得到的序列X作为双向长短时记忆网络Bi ‑LSTM各个时间步的输入， 得到 Bi‑LSTM层的前向隐状态序列 和后向隐状态序列 其中ht在隐藏层引 入相应的记忆单 元， 如公式(2)所示； 其中， ht‑1为上一个长短时记忆网络单元的隐藏层的输出结果； Ct‑1则是上次一个长短 时记忆网络单元的状态结果； xt则是本文的字向量输入结果； ft为遗忘门 的输出结果， 其中σ 为sigmoid激活函数； it与 则为输入门的输出结果； tanh为tanh激活函数； Οt为输出门的 输出结果； Ct为当前单元的状态值； ht为当前单元的隐藏层的输出； 将前向和后向隐状态序列 按照时间步拼接得到完整的隐状态序列,记作H＝(h1,h2,…, hn)； 最后， 通过线性层将隐状态序列映射到s维， 得到映射后的序列记作L＝(l1,l2,…,ln)； 其中， L代 表字Xi对应的每 个类别标签的yj的得分； 3.2)提出关系位置特征注意力机制： 将每个类别标签的得分输入关系位置特征注意力 机制， 得到实体分类矩阵C； 采用注意力机制QKV模型计算实体关系分类结果的权重值； 通过均匀分布进行随机采 样的向量矩阵queryk*1得出Query矩阵， 其中k为双向长短时记忆网络隐藏层的输出向量维 度； 通过句子中的中文分词的词向量所生 成的特征矩阵得出Key矩阵； 通过双向长 短时记忆 网络隐藏层输出向量组成的矩阵得 出Value矩阵； 实体关系抽取中的注意力机制权 重值按照公式(3)计算：权　利　要　求　书 1/2 页 2 CN 115203434 A 2Attention_wn×1＝softmax(key_wn×k*query_wk×1)  (3) 其中， softmax函数是用来进行向量归一化的操作； key_wn×k为注意力机制的Key向量矩 阵； query_wk×1为注意力机制中Query向量矩阵； A ttention_wn×1为注意力机制的权 重值； 实体关系抽取中注意力机制输出矩阵按照公式(4)计算： Attention_rk×1＝(Attention_wT*value_wn×k)T  (4) 其中， value_wn×k为双向长短时记忆网络隐藏层的输出向量矩阵； Attentiont_rk×1则是 注意力机制的输出向量矩阵； 此外， 建立注意力输出序列与经过BERT的输出序列的关系， 区分相同实体在不同关系 间的特征表示， 做出最后的关系分类预测； 对BERT的输出序列中每个词计算其与当前注意力 输出序列触发词的距离， 然后根据句 子最大长度m和位置特征大小n随机初始 化位置嵌入矩阵P， 通过查询位置嵌入矩阵P得到每 个词的关系位置特 征Pft， 关系位置特 征按照公式(5)计算： Pft＝PPr‑Pw  (5) 其中， Pr代表关系触发词的位置； Pw代 表BERT输出序列词的位置； 最后， 将位置嵌入矩阵与注意力机制输出矩阵在全连接层进行拼接， 得到实体分类矩 阵(6)： C＝f(Attention_rk×1； P)   (6) 其中f(·)代表全连接层； Attentiont_rk×1为注意力机制的输出向量矩阵； P为位置嵌 入矩阵， C为当前实体分类矩阵。 3.权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法在医学中的应 用， 其特征在于， 具体的应用方法为： 将CNMER数据利用融合BERT网络与位置特征信息的实 体关系抽取 方法进行实体抽取， 完成疾病体征、 疾病治疗实体分类。 4.权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法在军事中的应 用， 其特征在于， 具体的应用方法为： 将AIR  FORCE MIL‑HDBK‑310‑1997数据利用融合BERT 网络与位置特征信息的实体关系抽取方法进 行实体抽取， 完成发展军事产品的不同气候 实 体分类。 5.权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法在金融中的应 用， 其特征在于， 具体的应用方法为： 将LendingClub数据利用融合BERT网络与位置特征信 息的实体关系抽取 方法进行实体抽取， 完成贷款 客户、 贷款 业务、 贷款违约因素实体分类。 6.权利要求2所述的融合BERT网络与位置特征信息的实体关系抽取方法在法律中的应 用， 其特征在于， 具体的应用方法为： 将 CALL2018数据利用融合BERT网络与位置特征信息的 实体关系抽取 方法进行实体抽取， 完成罪名、 法条、 刑期实体分类， 提高刑法实体分类。权　利　要　求　书 2/2 页 3 CN 115203434 A 3