(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210448185.7 (22)申请日 2022.04.27 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 邓劲生　宋省身　赵涛　乔凤才　 郑龙　陈怡　严少洁　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 唐品利 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/35(2019.01)G06F 40/295(2020.01) (54)发明名称 基于卷积神经网络的时序知识图谱补全方 法、 装置及设备 (57)摘要 本申请涉及一种基于卷积神经网络的时序 知识图谱补全方法、 装置及设备， 该方法属于时 序知识图谱技术领域。 所述方法将卷积神经网络 应用于时序知识图谱中。 一方面， 利用卷积神经 网络的表征学习能力， 从输入信息中提取高阶特 征； 另一方面， 卷积运算利用卷积核的参数共享 机制和加权平均机制实现稀 疏相乘和参数共享， 有效减少权重参数的数量， 使得网络能进行快速 学习， 同时也有效减少计算内存开销； 有利于模 型在大型数据集上获得较好的性能； 同时， 本方 法中采用二维卷积增加实体/关系/时间嵌入表 示之间的交 互点， 提高了模型的特 征提取能力。 权利要求书3页 说明书11页 附图3页 CN 114547347 A 2022.05.27 CN 114547347 A 1.一种基于卷积神经网络的时序知识图谱补全方法， 其特 征在于， 所述方法包括： 获取时序知识图谱中的四元组的头实体、 关系 、 尾实体、 时间戳的初始嵌入表示； 对头实体、 关系和时间戳的初始嵌入表示进行2D重塑， 得到头实体、 关系、 时间戳的重 塑嵌入表示； 将头实体、 关系 、 时间戳的重塑嵌入表示采用串接的方式拼接起 来， 得到训练样本； 将所述训练样本输入到2维卷积神经网络中， 得到特征映射矩阵； 所述2维卷积神经网 络包括至少1个由2维卷积层、 池化层以及第一卷积函数组成的2维卷积模块； 将所述特 征映射矩阵进行向量重塑， 得到 重塑后的特 征向量； 将所述重塑后的特 征向量输入到全连接网络中， 并激活得到预测结果； 根据所述预测结果、 目标尾实体的初始嵌入表示以及预设的打分函数， 得到每一个事 实的得分。 2.根据权利要求1所述的方法， 其特征在于， 获取时序知识图谱中的四元组的头实体、 关系、 尾实体、 时间戳的初始嵌入表示， 包括： 对时序知识图谱中的头实体、 关系、 尾实体、 时间戳进行随机初始化， 得到头实体、 关 系、 尾实体、 时间戳的初始嵌入表示； 将头实体和尾 实体归为实体， 生成一个实体的初始嵌入矩阵， 记为 ， 生成一个 关系的初始嵌入矩阵， 记为 ， 生成一个时间戳的初始嵌入矩阵， 记为 ， 其中k为三个初始嵌入矩阵的维数， ， 和 分别为实体、 关系和时间戳的个数。 3.根据权利要求1所述的方法， 其特征在于， 所述2维卷积神经网络包括至少1个由2维 卷积层、 池化层以及第一卷积函数组成的2维卷积模块； 将所述训练样本 输入到2维卷积神经网络中， 得到特 征映射矩阵， 包括： 当2维卷积神经网络包括1个2维卷积模块时： 将所述训练样本输入到2维卷积神经网络的2维卷积模块中， 进行卷积、 池化、 激活后， 得到特征映射矩阵； 当2维卷积神经网络包括2个或2个以上的2维卷积模块时： 将所述训练样本输入到2维卷积神经网络的第一个2维卷积模块中， 进行卷积、 池化、 激 活后， 得到第一特 征映射矩阵； 将第一个2维卷积模块的输出作为第二个2维卷积模块的输入， 得到第三特征映射矩 阵， 依此类 推， 将最后一个2维卷积模块的输出作为特 征映射矩阵。 4.根据权利要求1所述的方法， 其特征在于， 将所述特征映射矩阵进行向量重塑， 得到 重塑后的特 征向量， 包括： 将特征映射矩阵采用函数 进行重塑， 得到 重塑后的特 征向量。 5.根据权利要求1所述的方法， 其特征在于， 根据所述预测结果、 目标尾实体的初始嵌 入表示以及预设的打 分函数， 得到每一个事实的得分， 步骤中的预设的打 分函数表达式为： 权　利　要　求　书 1/3 页 2 CN 114547347 A 2其中， ， ， 和 分别为头实体、 关系、 尾实体和时间戳的初始嵌入表示， ， ， 分别为头实体、 关系、 时间戳的重塑嵌入表示， 为一个线性变换矩阵， 为将特征矩阵转换为特征向量的操作， ||为特征向量的拼接， 为2维卷积层的 卷积核,  和 分别为Logistic Sigmoid函数和ReLU函数。 6.根据权利要求1所述的方法， 其特征在于， 根据所述预测结果、 目标尾实体的初始嵌 入表示以及预设的打 分函数， 得到每一个事实的得分， 步骤前还 包括： 根据预测结果、 训练样本以及预设损失函数， 对由2维卷积神经网络和预设的全连接网 络组成的基于卷积神经网络的时序知识图谱补 全网络模型进 行反向训练， 得到训练好的基 于卷积神经网络的时序知识图谱补全网络模型； 所述预设损失函数的表达式为： 其中， 为预设损失函数， 为样本i 的label， 正类为1， 负类为0， i为样本的 序号， ， N为样本的数量； 为样本i预测为正类的概 率。 7.一种基于卷积神经网络的时序知识图谱补全 装置， 其特 征在于， 所述装置包括： 卷积神经网络训练样本确定模块： 用于获取时序知识图谱中的四元组的头实体、 关系、 尾实体、 时间戳的初始嵌入表示； 对头实体、 关系和时间戳的初始嵌入表示进行2D重塑， 得 到头实体、 关系、 时间戳的重塑嵌入表示； 将头实体、 关系、 时间戳的重塑嵌入表示采用串接 的方式拼接起 来， 得到训练样本； 卷积神经网络训练模块： 用于将所述训练样本输入到2维卷积神经网络中， 得到特征映 射矩阵； 所述2维卷积神经网络包括至少1个由2维卷积层、 池化层以及第一卷积函数组成的 2维卷积模块； 将所述特征映射矩阵进行向量重塑， 得到重塑后的特征向量； 将所述重塑后 的特征向量输入到全连接网络中， 并激活得到预测结果； 时序知识图谱的得分确定模块， 用于根据所述预测结果、 目标尾实体的初始嵌入表示 以及预设的打 分函数， 得到每一个事实的得分。 8.根据权利要求7所述的装置， 其特征在于， 卷积神经网络训练样本确定模块， 还用于 对时序知识图谱中的头实体、 关系、 尾实体、 时间戳进行随机初始化， 得到头实体、 关系、 尾 实体、 时间戳的初始嵌入表示； 将头实体和尾实体归为实体， 生成一个实体的初始嵌入矩 阵， 记为 ， 生成一个关系的初始嵌入矩阵， 记为 ， 生成一个时间戳的初始 嵌入矩阵， 记为 ， 其中k为三个初始嵌入矩阵的维数， ， 和 分别为实 体、 关系和时间戳的个数。 9.根据权利要求7所述的装置， 其特征在于， 所述2维卷积神经网络包括至少1个由2维 卷积层、 池化层以及第一卷积函数组成的2维卷积模块； 卷积神经网络训练模块， 还用于当2维卷积神经网络包括1个2维卷积模块 时： 将所述训权　利　要　求　书 2/3 页 3 CN 114547347 A 3