(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210492838.1 (22)申请日 2022.05.07 (65)同一申请的已公布的文献号 申请公布号 CN 114579769 A (43)申请公布日 2022.06.03 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 徐童　陈恩红　罗鹏飞　朱熹　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 113239131 A,2021.08.10 CN 112395428 A,2021.02.23 CN 111046193 A,2020.04.21 CN 112148892 A,2020.12.2 9 kenneth church.Data co lletion vs.knowledge graph completi on:what is needed to improve covera ge?. 《proce edings of the 2021 co nference o n empirical methods i n natural langua ge proces sing》 .2021, M Zhang el al. .knowledge graph completi on for the c hinese text of cultural rel ics based o n bidirecti onal encoder representi ons from transformers with entity-type i nformati on. 《entropy》 .2020, 审查员 王彩勤 (54)发明名称 小样本知识图谱补全方法、 系统、 设备及存 储介质 (57)摘要 本发明公开了一种小样本知识图谱补全方 法、 系统、 设备及存储介质， 通过引入实体间的交 互和实体间的关系， 可以增强中心实体的表示能 力。 此外， 通过进行语义交互建模可以捕捉支撑 集中不同的实体对所反映的不同特征， 有效的表 示小样本关系的不同方面， 最终进一步提高小样 本关系连接预测的准确率， 提升小样本知识图谱 补全效果， 进而 提升在在搜索引擎、 问答系统、 推 荐系统等相关应用中的效果。 权利要求书6页 说明书14页 附图4页 CN 114579769 B 2022.09.06 CN 114579769 B 1.一种小样本知识图谱补全方法， 其特 征在于， 包括： 从待补全的知识图谱中提取出所有小样本关系， 对于每一小样本关系分别提取出若干 支撑三元组构成的支撑集， 以及对于每一小样本关系结合给定的若干询问实体对构造若干 询问三元组， 并提取出所有包含非小样本 关系的三元组作为背 景知识图谱； 其中， 小样 本关 系出现的次数少于非小样本 关系， 每一支撑三元 组包含一个支撑实体对及支撑实体对的关 系， 所述支撑实体对与询问实体对均包 含头尾两个实体； 对于每一小样本关系的每一询问三元组， 以及支撑集中的每一支撑三元组， 均各自通 过背景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合， 将询问实体对与 支撑实体对各自与对应的一跳邻居集合进 行语义交互建模， 获得每一询问三元组中询问实 体对的隐向量与每一支撑三元组中支撑实体对的隐向量； 对于每一小样本关系的每一询问三元组， 将相应询问实体对的隐向量与对应支撑集的 所有支撑三元组中支撑实体对的 隐向量拼接后进 行语义交互建模， 获得每一支撑三元组中 支撑实体对的交互特征与询问实体对的交互特征， 再通过注意力机制计算出每一支撑三元 组中支撑实体对的注意力权重， 并对相应支撑实体对的隐向量进行加权， 计算出支撑集的 表示向量； 通过支撑集的表示向量与询问实体对的交 互特征计算询问实体对的评分； 对于具有相同询问头实体的询问实体对， 选出评分最高的询问实体对对应的询问三元 组更新待补全的知识图谱； 其中， 所述对于每一小样本关系的每一询问三元组， 以及支撑集中的每一支撑三元组， 均各自通过背 景知识图谱中分别提取出询问实体对与支撑实体对的一跳邻居集合， 将询问 实体对与支撑实体对各自与对应的一跳邻居集合进行语义交互建模， 获得每一询问三元组 中询问实体对的隐向量与每一支撑三元组中支撑实体对的隐向量包括： 对于每一询问三元组， 从背景知识图谱中分别获取询问头实体与询问尾实体的所有一 跳邻居实体及相 应的关系； 对于支撑集中的每一支撑三元组， 从背景知识图谱中分别获取 支撑头实体与 支撑尾实体的所有一跳邻居实体及相应的关系； 对每个一跳邻居实体与相应 关系的嵌入表示进行融合编码， 作为每个一跳邻居实体的融合表示向量， 最终获得询问头 实体与询问尾实体所有的一跳邻居实体的融合表 示向量， 以及每一支撑三元组中支撑头实 体与支撑尾实体所有的一跳邻居实体的融合表示向量； 通过编码相 应小样本关系， 获得关 系向量， 结合所述关系向量与相应实体的嵌入表示， 获得每一询问三元组中询问头实体与 询问尾实体的表示向量， 以及每一支撑三元组中支撑 头实体与支撑尾实体的表示向量； 将每一询问三元组中询问头实体的表示向量及询问尾实体的表示向量分别与对应的 所有的一跳邻居实体的融合表示向量进行拼接， 则每一询问实体对获得两组拼接 向量； 将 每一支撑三元组中支撑头实体的表示向量及支撑尾实体的表示向量分别与对应的所有的 一跳邻居实体的融合表示向量进行拼接， 则每一支撑实体对获得两组拼接向量； 将每一询问实体对的两组拼接向量， 以及每一支撑实体对的两组拼接向量， 均分别单 独通过Transformer模 型进行语义交互建模， 再融合两组拼接向量的语义交互建模 结果， 获 得每一询问三元组中询问实体对的隐向量以及每一支撑三元组中支撑实体对的隐向量。 2.根据权利要求1所述的一种 小样本知识图谱补全方法， 其特征在于， 所述从待补全的 知识图谱中提取出所有小样本 关系， 对于每一小样本关系分别提取出若干支撑三元组构成 的支撑集， 以及对于每一小样本关系 结合给定的若干询问实体对构造若干询问三元组， 并权　利　要　求　书 1/6 页 2 CN 114579769 B 2提取出所有包含非小样本关系的三元组作为背景知识图谱 包括： 将待补全的知识图谱记为 G， 其包含三元组集合{( h,r,t)}⊆ε×β×ε； 单个三元组( h, r,t)中，h表示头实体， t表示尾实体， 头实体与尾实体构成三元 组中的实体对， r表示实体对 的关系；ε表示全部的实体所构成的集 合，β表示全部的关系所构成的集 合； 按照关系出现的次数将集合 β划分为两类， 一类为小样本关系， 构成集合 Rfew， 另一类为 非小样本关系， 构成集 合Rbg， 满足：Rfew∩Rbg=∅，Rfew∪Rbg=β； 提取出所有包含非小样本关系的三元组作为背景知识图谱 Gbg；  对于每一小样本关系 r’∈Rfew， 提取出对应的支撑集 ， 其中，si=(hi , r’,ti)表示支撑集中的第 i个支撑三元组， hi与ti分别表示第 i个支撑三元组中的支撑头实 体与支撑尾实体， U表示支撑集中支撑三元组的数目；  对于每一小样本关系 r’∈Rfew， 利用给定的询问实体对构造若干询问三元组构成的集 合{(hj’, r’,tj’)}， 其中， hj’与tj’分别表示第 j个询问三元组中的询问头实体与询问尾实 体。 3.根据权利要求1所述的一种 小样本知识图谱补全方法， 其特征在于， 每个一跳邻居实 体的融合表示向量， 每一询问三元组中询问头实体与询问尾实体的表示向量， 以及每一支 撑三元组中支撑 头实体与支撑尾实体的表示向量采用下述方式计算： 定义实体 e表示询问头实体、 支撑头实体、 询问尾实体或者支撑尾实体； 从背景知识图 谱中获取实体 e的所有一跳邻居实体及相应的关系， 记为 ， 其中， 表 示实体e的第f个一跳邻居实体， 表示实体 e与 的关系， ， 为实 体e的一跳邻居实体数目； 定义第f个一跳邻居实体 与关系 的嵌入表示为向量 和 ， 通过第一感知机 进行融合编码， 获得第 f个一跳邻居实体的融合表示向量 ： 其中， 为激活函数， 表示向量 拼接操作， W1与b1表示第一组可 学习的参数； 实体e所在询问三元组或者支撑三元组中对应的小样本关系通过下述公式进行编码计 算， 获得关系向量 Re： 其中， 与 构成一个支撑实体对或者一个询问实体对； hj’表示第j个询问三元组中的 询问头实体， hi表示支撑集中第 i个支撑三元组中的支撑头实体， 实体 为hj’或者hi；tj’表 示第j个询问三元组中的询问尾实体， ti表示支撑集中第 i个支撑三元组中的支撑尾实体， 实体 为tj’或者ti； 与 分别表示实体 与 的嵌入表示； W2与b2表示第二组可学习权　利　要　求　书 2/6 页 3 CN 114579769 B 3