(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605218.4 (22)申请日 2022.05.31 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 吴庆耀　陈健　黄慧筹　李潇　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/36(2019.01) (54)发明名称 基于图卷积和机器阅读理解的事件论元提 取方法、 系统及 介质 (57)摘要 本发明公开了基于图卷积和机器阅读理解 的事件论元提取方法、 系统及介质， 方法为： 构造 多关系事件图； 获取多关系事件图中所有节点的 初始化特征矩阵； 使用关系型图卷积RGCN并结合 注意力机制自动学习， 获得事件 结构感知的节点 特征信息； 根据输入语句嵌入事件触发词的位置 获取上下文特征表示， 使用事件 结构感知的节点 特征信息构造问题； 根据上下文特征表示与问题 特征表示计算相似度矩阵及注意力， 使用流注意 机制生成问题感知的上下文特征表 示； 采用自注 意机制及论元匹配算法完成事件论元的提取。 本 方法考虑了不同事件类型和论元角色之间的关 系， 通过构建多关系图来联合建立多类型事件类 型和论元角色之间的复杂关系， 使得有效提高提 取事件论元的性能。 权利要求书6页 说明书14页 附图3页 CN 115080716 A 2022.09.20 CN 115080716 A 1.基于图卷积和机器阅读理解的事 件论元提取 方法， 其特 征在于， 包括下述 步骤： 获取事件本体， 以事 件类型和论元角色为节点， 构造多关系事 件图； 使用语言模型BERT作为特征提取器， 获取多关系事件图中所有节点的初始化特征矩 阵； 使用关系型图卷积RGCN对多关系事件图进行学习更新， 并结合注意力机制自动学习邻 居节点的自适应注意力权 重， 获得事 件结构感知的节点特 征信息； 根据输入语句嵌入事件触发词的位置获取上下文特征表示， 使用事件结构 感知的节点 特征信息构造问题； 根据上下文特征表示与问题特征表示计算相似度矩阵及注意力， 使用流注意机制生成 问题感知的上 下文特征表示； 基于问题感知的上下文特征表示， 采用自注意机制及论元匹配算法完成事件论元的提 取。 2.根据权利要求1所述的基于图卷积和机器阅读理解的事件论元提取方法， 其特征在 于， 所述多关系事 件图MREG表示 为： g＝(V， ε， R) 其中， V是节点集合， 由事件类型节点和论元角色节点组成； ε是节点之间边的集合， 表 示两个节点之间存在关系连接； R是边的类型集 合， 即关系类型集 合； 所述多关系事件图中的每 条边用一个三元组表示(v1， v2， r)∈ ε， 其中v1， v2∈V， r∈R， 代 表节点v1和节点v2之间是具有关系连接的边， 且边的类型为r； 所述边的类型\关系类型包括三种类型： 1事件类型 ‑事件类型ET ‑ET， 即在任意两个事 件类型节点之间连边； 2事件类型 ‑论元角色ET ‑AR， 即根据事件本体的定义， 在事件类型节 点及其对应的一组论元角色节 点之间连边； 3论元角色 ‑论元角色AR ‑AR， 即在任意两个论元 角色之间连边。 3.根据权利要求2所述的基于图卷积和机器阅读理解的事件论元提取方法， 其特征在 于， 所述获取多关系事 件图中所有节点的初始化特 征矩阵， 具体为： 使用语言模型BERT作为特征提取器， 为多关系事件图中每个节点初始化特征表示， 公 式为： 其中， d为语言模型BERT最后隐藏层输出的维度大小， [CLS]和[SEP]是语言模型BERT中 的特殊字符， 代表矩阵； 对多关系事 件图中所有节点进行初始化处 理， 得到所有节点的初始化特 征矩阵： 其中ei， 0＜i≤m表示第i个节点的初始化特 征表示， m是节点总数。 4.根据权利要求3所述的基于图卷积和机器阅读理解的事件论元提取方法， 其特征在 于， 所述获得事 件结构感知的节点特 征信息， 具体为： 利用关系型图卷积RGCN对多关系事件图进行学习更新， 并结合注意机制来自动学习邻 居节点的自适应注意力权 重， 将该过程记为RGAT； 当进行第L层RGAT时， 计算任意两个节点vi和vj的相关性得分Sij， 公式为：权　利　要　求　书 1/6 页 2 CN 115080716 A 2其中， 是第L层节点vi的特征向量， 是第L层节点vj的特征向量， 是可学习的参 数矩阵； 表示向量 拼接操作； σ( ·)是非线性激活函数； 利用特定关系类型r∈R下的邻接矩阵作为注意力计算的掩码， 计算在关系r下的节点vi 的邻居节点的注意力权 重 其中 是节点vi在关系r下的邻居节点 集； 使用注意力权重 将邻居节点的特征表示加权聚合到中心节点vi并更新vi的特征， 公式为： 其中 是在第L层RGAT更新后的节点vi的特征向量输出， 和 是第L层RGAT中可 学习的参数； 是归一化常数； 是节点vi在关系r下 的邻居节点vj在第L层输入的特征向 量； 经过L层RGAT的学习， 获得事 件结构感知的节点特 征信息， 表示 为： 其中， 是事件感知结构的节点特征信息， 表示节点vi经过L层RGAT后输出的节点特 征， 0＜i≤m， m是节点总数。 5.根据权利要求4所述的基于图卷积和机器阅读理解的事件论元提取方法， 其特征在 于， 所述根据输入语句嵌入 事件触发词的位置获取 上下文特征表示， 具体为： 对输入语句C， 使用语言模型BERT作为特 征提取器， 提取语句特 征， 提取式为： 其中， wi(1≤i≤n)是语句C中的单词表示， n是语句C中的单词个数， wtri表示事件触发 词， 维度N是语句C经 过语言模型BERT处 理后的输出长度； 根据事件触发词得到一组0\1的二元数据， 所述0\1的二元数据记载了事件触发词位置 信息， 用于表示输入语句中某字符是否为事 件触发词； 使用起始位置预测器预测事件论元的起始位置嵌入信息， 并嵌入输入语句中， 得到上 下文特征表示， 表示 为： 权　利　要　求　书 2/6 页 3 CN 115080716 A 3