(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210757940.X (22)申请日 2022.06.29 (71)申请人 武汉科技大 学 地址 430081 湖北省武汉市和平大道 947号 (72)发明人 庞俊　刘小琪　任亮　林晓丽　 张鸿　张晓龙　李波　 (74)专利代理 机构 杭州宇信联合知识产权代理 有限公司 3 3401 专利代理师 刘艳艳 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 基于多粒度注意力网络的图立方链接预测 方法 (57)摘要 本发明公开了一种基于多粒度注意力网络 的图立方链接预测方法， 包括： 对待补全的图立 方进行加载， 获得图立方中的实体和关系； 对加 载的实体和关系进行初始化， 得到初始实体嵌入 向量和初始关系嵌入向量； 将初始实体嵌入向量 和初始关系嵌入向量输入多头自注意力神经网 络中， 更新各多元关系的实体嵌入向量和关系嵌 入向量； 将更新后的实体嵌入向量和关系嵌入向 量输入到HPMG模型中进行训练； 通过评分模块对 每个多元关系评分， 根据评分指标来判断多元关 系的评分结果是否正确： 若正确， 则将正确的多 元关系添加到图立方中， 补全图立方， 若错误， 则 将错误的多元关系舍弃。 本发明从多粒度的角度 对多元关系进行评分， 提升了链接预测的准确 率。 权利要求书4页 说明书11页 附图3页 CN 115292509 A 2022.11.04 CN 115292509 A 1.一种基于多粒度注意力网络的图立方链接预测方法， 其特征在于， 用于对图立方中 的未知多元关系进行推理预测， 至少包括 步骤： S1、 对待补全的图立方进行加载， 获得图立方中的实体和关系； S2、 对步骤S1加载获得的实体和关系进行初始化， 得到初始实体嵌入向量和初始关系 嵌入向量； S3、 将步骤S2得到的初始实体嵌入向量和初始关系嵌入向量输入多头自注意力神经网 络中， 更新各多元关系的实体嵌入向量和各多元关系的关系嵌入向量； S4、 将步骤S3更新后的实体嵌入向量和关系嵌入向量输入到HPMG模型中进行训练， 所 述HPMG模型至少 包括粗粒度评分模块、 δ ‑细粒度评分模块和 评分模块， 通过所述粗粒度评 分模块学习每个关系粗粒度的超边特征并进 行粗粒度评 分， 通过所述δ ‑细粒度评 分模块学 习每个关系 δ ‑细粒度的实体特征并进 行细粒度评 分， 将粗粒度评 分与细粒度评 分进行加权 求和得到各多元关系成立的评分； S5、 通过评分模块对每个多元关系 进行评分， 得出预测结果， 根据评分指标来判断多元 关系的评分结果是否正确： 若正确， 则将正确的多元关系添加到图立方中， 补全图立方， 若 错误， 则将错 误的多元关系舍弃。 2.根据权利要求1所述的基于多粒度注意力网络的图立方链接预测方法， 其特征在于， 设图立方是由节点和超边组成的图， 其中， 节点也叫做实体， 超边也叫做多元关系， 图立方 记作： KHG＝{H， F} 上式中， H＝{h1， h2， ...， h|H|}， 表示KH G中实体的集合， |H|表示KH G所含实体的数量； F＝ {f1， f2， ...， f|F|}， 表示多元关系的集合， 即超边的集合， |F|表示KHG所含超边的数量； 任意 一条多元关系f都对应一个元 组f＝(h1， h2， ...， hm， r)， 其中， m表 示多元关系f所含实体的数 量， 即m是多元关系的元 数， m为正整数， r 表示关系。 3.根据权利要求2所述的基于多粒度注意力网络的图立方链接预测方法， 其特征在于， 步骤S3具体包括： 首先对多元关系 包含的所有初始实体嵌入向量和初始关系嵌入向量进行串联操作， 得 到f＝(h1， h2， ...， hm， r)， 以获取含多元关系内部语义信息的关系和实体的嵌入表示； 然后通过多头自注意力神经网络学习f内部语义差别并更新f， 得到更新后的多元关系 中实体嵌入向量和关系嵌入向量Fall， 计算过程如等式(1)和等式(2)所示： Fall＝Mself‑att(fWn)  (1) 上式中， 均表示权重矩阵， n∈(1， ...， 5)， 矩阵 Fall分别与权 重矩阵相乘得到Kn， Qn， Vn； 上式中， Mself‑att表示自注意力神经网络计算函数， W0为参数矩阵， dk表示K的维数， Concat为向量 拼接操作。 4.根据权利要求3所述的基于多粒度注意力网络的图立方链接预测方法， 其特征在于，权　利　要　求　书 1/4 页 2 CN 115292509 A 2步骤S4中， 粗粒度评分模块用于学习多元关系包含的所有实体(h1， h2， ...， hm)与关系r之间 的联系， 以获取 更丰富的超边语义特 征； 通过粗粒度评分模块进行粗粒度评分具体包括： 将经过多头自注意力神经网络更新后的Fall输入到二维卷积神经网络， 进行标准化处 理后使用ReLU非线性激活函数进 行处理， 从而 得到一组超关系特征矩阵FeaCoa， 计算过程如 等式(3)： FeaCoa＝σ(BN(co nv2(Fall))  (3) 上式中， BN( ·)为BatchNorm2d函数， σ( ·)为非线性激活函数ReLU， conv2( ·)表示卷 积核大小为(m+1)* 3的二维卷积 操作； 然后， 计算多元关系f的粗粒度评分： 将超关系特征矩阵FeaCoa按列展开后输入到全连 接神经网络， 计算出粗粒度评分 mScore， 计算过程如等式(4)所示： mScore＝FCN1(Flatten(FeaCoa))  (4) 上式中， Flatten表示将张量按列展开， FCN1表示全连接操作。 5.根据权利要求3所述的基于多粒度注意力网络的图立方链接预测方法， 其特征在于， 步骤S4中， δ ‑细粒度评 分模块用于对 具有m个实体的多元关系从1细粒度到δ细粒度的学习， δ ＝m‑1； 通过δ‑细粒度评分模块对i细粒度进行细粒度评分具体包括如下， i ＝1， 2， ...， δ： 首先， 分别串联经过多头自注意力神经网络更新后的多元关系嵌入向量， 包括实体的 不 同 粒 度 组 合 C o m (hj)i和 关 系 r ， 记 作 其 中 ， Com(hj)i表示m元关系的i粒度实体组合； 然后， 为了获取多元关系f实体的i维特征， 将 输入一个二维卷积神 经网络， 经过标 准化并使用ReLU非线性激活函数进行处理， 从而得到实体的不同粒度组合Com(hj)i基于关 系r的特征 计算过程如等式(5)所示： 上式中， conv2′为卷积核大小为(i+1)* 3的二维卷积 操作； 接着， 完成 的特征融合， 使用最小值特征融合方法对上一步得到的 组特征分 别进行特征融合， 计算过程如等式(6)所示： 上式中min()表示取所有 每个维度 的最小值作为该维度 的结果j＝1， 2...， α， 最后， 计算f 的i‑细粒度评分， 将每个 按列展开后输入到全连接神经 网络计算出 i‑细粒度评分Scorei， 计算过程如等式(7)所示： 上式中， FCN2为全连接操作。 6.根据权利要求4所述的基于多粒度注意力网络的图立方链接预测方法， 其特征在于，权　利　要　求　书 2/4 页 3 CN 115292509 A 3