(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210799672.8 (22)申请日 2022.07.08 (71)申请人 大连民族大 学 地址 116600 辽宁省大连市经济技 术开发 区辽河西路18号 (72)发明人 刘爽　秦煜峰　孟佳娜　于玉海　 王巍　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 马庆朝 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 5/02(2006.01) G06N 5/04(2006.01) (54)发明名称 基于双流嵌入和深度神经网络的动态知识 图谱补全方法 (57)摘要 本发明涉及知识图谱补 全领域， 公开了基于 双流嵌入和深度神经网络的动态知识图谱补全 方法。 技术方案： 使用知识的文本描述对原有名 称进行替换， 接着将三元组分为头实体、 关系和 尾实体两个不对称的部分， 使用孪生网络的结构 应用两个相同的BERT预训练模型进行知识的嵌 入， 在引入了知识语意信息的同时节约了大量的 时间成本， 避免组合爆炸问题的产生； 在推理阶 段， 使用了残差神经网络， 相比于传统的CNN残差 神经网络拥有更良好的性能， 摆脱了随着网络层 数的增加出现的模型退化的问题。 本发明拥有良 好的性能， 兼具高效和精确两方面的特性。 权利要求书2页 说明书5页 附图3页 CN 115186102 A 2022.10.14 CN 115186102 A 1.一种基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特征在于， 步骤如 下： 步骤1： 获取 数据中实体和关系的文本信息； 步骤2： 对数据进行负采样， 获取到负 样本； 步骤3： 将头实体和关系进行组合， 同时， 将头实体和关系、 尾实体构造成BERT的输入数 据形式； 步骤4： 将头实体和关系、 尾实体的文本表示分别输入到两个BERT中， 获取两部分的嵌 入向量； 步骤5： 对两 部分嵌入向量按照原有维度进行拼接； 步骤6： 使用一维卷积进行矩阵升维并投影到二维平面中， 生成特 征图； 步骤7： 将特 征图输入到若干个残差模块中进行 特征提取； 步骤8： 对特征矩阵使用平均池化， 再将其输入到顶部是Softmax分类器的全连接层当 中获取三元组得分； 步骤9： 通过模型计算训练集中所有三元组得分， 并利用分数进一 步对模型进行训练； 步骤10： 在训练集上分别验证模型链接预测效果和对未在训练集中出现过的三元组补 全的结果。 2.如权利要求1所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤1， 当实体或关系的描述存在时， 使用描述代替其名称； 当实体或关系的描 述不存在时， 直接使用名称作为文本信息 。 3.如权利要求2所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤2， 采用随机替换 的负采样策略， 将给定三元组的头实体或尾实体实去除 并随机使用其他实体进行替换， 当重组的三元组在原始知识图谱中不存在时， 将其作为负 样本添加到负 样本列表中。 4.如权利要求3所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤3， 使用BERT的tokenizer将实体和关系的描述 或名称， 并根据提供的词典 将每个词映射 为id， 再将头实体、 关系和尾实体构造成BERT输入的形式。 5.如权利要求4所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤4， 将构 造好的头实体、 关系和尾实体的两部 分输入内容， 分别输入到两个 相同的BERT预训练模型中， 并设置 两个BERT权值共享， 获取到 两部分的嵌入向量。 6.如权利要求5所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤5， 将得到的两部 分嵌入向量， 按照原有维度进 行堆叠， 堆叠后得到长度为 768,通道数为2的一维嵌入向量。 7.如权利要求6所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤6， 应用一 维卷积沿着步骤5得到的堆叠向量滑动， 并将卷积得到的特征 投 影到一个二维平面中， 生成特 征图； 针对步骤7， 对步骤6生成的特征图使用ResNet残差神经网络进行特征提取， 产生新的 特征矩阵。 8.如权利要求7所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤8， 将生 成的特征矩阵做平均池化， 并送入到一个顶部是softmax分类器的权　利　要　求　书 1/2 页 2 CN 115186102 A 2全连接层中， 并计算三元组的得分， 根据得分判断实体之 间是否存在关系， 将链接预测问题 转化为二分类问题。 9.如权利要求8所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤9， 训练数据中添加0， 1标签， 将训练数据送入模型中， 并反向更新模型中 权重参数对 模型进行训练。 10.如权利要求9所述的基于双流嵌入和深度神经网络的动态知识图谱补全方法， 其特 征在于， 针对步骤10， 测试过程中不再使用类别标签， 而 是使用三元组计算得来的分数进 行 排名， 使用MR、 MRR、 Hits@N作为评价指标； 测试分为两部分， 一是在通用数据集上的链接预 测实验， 二是在NEL L‑ONE数据集上测试动态知识补全效果。权　利　要　求　书 2/2 页 3 CN 115186102 A 3