(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211202263.1 (22)申请日 2022.09.29 (71)申请人 中国人民解 放军战略支援 部队信息 工程大学 地址 450000 河南省郑州市高新区科 学大 道62号 (72)发明人 卢记仓　王凌　周刚　刘洪波　 兰明敬　李珠峰　吴建萍　王婧　 卢银鹏　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 周艳巧 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/08(2006.01) (54)发明名称 基于上下文数据增强的少样本知识图谱表 示学习方法及系统 (57)摘要 本发明属于知识图谱表示学习推理技术领 域， 特别涉及一种基于上下文数据增强的少样本 知识图谱表 示学习方法及系统， 首先选取背景知 识图谱中实体， 对实体周围的邻居节 点上下文信 息进行编码， 构建三元组实体对表示； 然后通过 变分自编码器学习头尾实体对在向量表示空间 中的特征， 解码生成新的三元 组扩充训练集以辅 助学习。 本发 明通过扩展训练样 本集的同时保证 训练样本的质量， 从而更好地支撑少样本条件下 的知识图谱表 示学习以及知识 推理， 在聚合实体 上下文和关系上下文时， 考虑不同信息在不同三 元组推理任务中的不同作用； 通过在聚合时分配 权重， 能够减少噪声与无关信息带来的影响， 有 效提高聚合后表示信息的准确性， 从而使得知识 图谱表示学习具有更好的语义表达能力。 权利要求书2页 说明书9页 附图3页 CN 115525771 A 2022.12.27 CN 115525771 A 1.一种基于上下文数据增强的少样本知识图谱表示学习方法， 其特征在于， 包含如下 内容： 选取背景知识图谱中实体， 对实体周围的邻居节点上下文信息进行编码， 构建三元组 实体对表示； 利用变分自动编码器VAE从隐变量空间的概率分布中学习构建的原始实体对表示的隐 藏特征， 并解码生成候选实体对的新 实体对表示； 将三元组推理任务作为序列推理任务， 通 过对原始实体对表示和新实体对表示进行编码， 得到推理序列少样本关系向量表示； 根据候选实体对构建待推理三元组实体对及其少样本关系表示， 利用预先设置的相似 度度量函数获取推理序列少样本关系向量表示和待推理三元组实体对少样本关系表示之 间的相似度得分； 构建用于知识图谱表示学习 模型训练优化的负样本， 并利用变分自编码器和相似度得 分构建损失函数， 根据损失函数来优化少样本关系向量表示。 2.根据权利要求1所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特 征在于， 对每个实体对中实体周围的邻居节点上下文信息进 行聚合编 码来获取原始实体对 表示， 包含如下内容： 首先， 通过预训练的实体向量表示来获取关系表示， 并计算该关系表 示与各邻居节点上下文关系之间的相似度； 接着， 将相似度值作为聚合上下文实体表示的 权重， 通过softmax函数获取实体上下文信息聚合表示； 然后， 依据 实体上下文信息聚合表 示和实体表示 来获取对应的原 始实体对表示。 3.根据权利要求2所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特 征在于 ， 关系表示与各邻居节点上下文关系之间的 相似度计算过程表示为 ： 其中， r为获取的关系表示， 且r＝h ‑t， h和t分别为预训练的实体向量 表示， W是变换矩阵， b是偏置， ri为邻居节点 i上下文关系。 4.根据权利要求1或2所述的基于上下文数据增强的少 样本知识图谱表示学习方法， 其 特征在于， 原始实体对表示为头尾实体f(h)和f(t)， 其中， f(e)＝σ(W1e+W2eaggr)， e为头尾实 体本身的实体表示， eaggr为实体上下文信息的聚合表示， W1和W2为两个变换矩阵， σ为 Sigmoid激活函数。 5.根据权利要求1所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特 征在于， 利用变分自动编 码器VAE学习原始实体对表 示的隐藏特征， 并解码生成新 实体对表 示， 包含如下内容： 首先， 对于每个原始实体对， 利用全连接网络提取实体对特征， 并通过编 码器将实体对特征映射为后验概率分布； 然后， 根据后验概率分布， 解码 器对实体对特征进 行解码重构得到新的实体对表示， 并通过变分自动编码器VAE损失函数的惩罚项和超参数 来控制输入的原 始实体对表示和输出的新实体对表示之间的相似程度。 6.根据权利要求1所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特 征在于， 利用编码器对原始实体对表 示和新实体对表 示进行编码中， 利用Transformer作为 编码器， 将待推理三元组实体对的推理任务作为序列预测任务， 结合实体节点的原始实体 对表示和新实体对表示通过Transformer编码 器进行编码处理来获取推理序列对应实体对 的少样本关系表示。 7.根据权利要求1所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特权　利　要　求　书 1/2 页 2 CN 115525771 A 2征在于， 构建相似度度量函数中， 首先， 利用点积方式计算待推理三元组实体对少样本 关系 与推理序列中少样本关系表示的相 似度得分， 并通过softmax函数来计算注意力分布中的 关注权重； 然后， 利用 相似度度量函数φ(qr,saggr)来计算每一个候选尾实体得分， 其中， qr 表示待推理三元组实体对少样本关系， saggr表示注意力分布中的关注权 重。 8.根据权利要求1所述的基于上下文数据增强的少样本知识图谱表示学习方法， 其特 征在于， 知识图谱表示学习模型训练优化中， 将 每个关系的三元组实体对作为一个任务， 每 个任务中从待推理三元组实体对中选取若干三元 组实体对组成支持集， 其余三元组实体对 构成查询集， 并通过替换查询集中三元组实体对中的尾部实体来构造负 样本。 9.根据权利要求1或8所述的基于上下文数据增强的少 样本知识图谱表示学习方法， 其 特征在于， 利用变分自编码器和相似度得分构建的损失函数表示为： 其 中， 表示负样本优化三元组表示的hinge损失部分， 表示变分自动编码器优化损失 部分， λ表示比重调整参数。 10.一种基于上下文数据增强的少样本知识图谱表示学习系统， 其特征在于， 包含： 推 理序列构建模块、 相似度获取模块和优化学习模块， 其中， 推理序列构建模块， 用于通过选取背景知识图谱中实体对实体周围的邻居节点上下文 信息进行编码， 构建三元组实体对表示； 并利用变分自动编 码器VAE从隐变量空间的概率分 布中学习构建的原始实体对表示的隐藏特征， 并解码生成候选实体对的新实体对表示； 将 三元组推理任务作为序列推理任务， 通过对原始实体对表示和新实体对表示进行编码， 得 到推理序列少样本关系向量表示； 相似度获取模块， 用于根据候选实体对构建带待推理三元组实体对及其少 样本关系表 示， 利用预先设置的相似度度量函数获取推理序列少样本 关系向量表示和待推理三元组实 体对少样本关系表示之间的相似度得分； 优化学习模块， 用于构建用于知识图谱表示学习模型训练优化的负样本， 并利用变分 自编码器和相似度得分构建损失函数， 根据损失函数来优化少样本关系向量表示。权　利　要　求　书 2/2 页 3 CN 115525771 A 3