(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666541.2 (22)申请日 2022.06.13 (71)申请人 西南交通大 学 地址 611756 四川省成 都市高新区西部园 区西南交通大 学科学技术发展研究院 (72)发明人 李天瑞　黄维　刘佳　王德贤　 李崇寿　滕飞　 (74)专利代理 机构 成都盈信专利代理事务所 (普通合伙) 51245 专利代理师 崔建中 (51)Int.Cl. G06F 16/36(2019.01) G06N 5/02(2006.01) G06N 20/00(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于联邦学习的多粒度动态知识图谱嵌入 模型构造方法 (57)摘要 本发明公开了一种基于联邦学习的多粒度 动态知识图谱嵌入模型构造方法， 包括步骤： 客 户端对多粒度动态知识 图谱嵌入模型进行本地 训练； 多个完成本地多轮训练多粒度动态知 识图 谱嵌入模型的客户端， 将模型的卷积核集合和权 重向量上传到服务器， 服务器按照平均聚合规则 (或者多粒度聚合规则)更新卷积核集合和权重 向量， 之后下传到每个客户端； 重复执行上述步 骤多轮后， 得到全局多粒度动态知识图谱嵌入模 型。 本发明关注不同时间粒度的信息与事实三元 组的关联性， 提高了动态知识图谱嵌入模型中事 实三元组表征的准确性。 联邦学习使用多粒度聚 合规则时， 提高了动态知识图谱嵌入模型的通信 效率， 降低了 冗余信息 。 权利要求书1页 说明书8页 附图4页 CN 115062159 A 2022.09.16 CN 115062159 A 1.基于联邦学习的多粒度动态知识图谱嵌入 模型构造方法， 其特 征在于， 包括： 步骤1， 客户端对多粒度动态知识图谱嵌入 模型进行本地训练； 所述多粒度动态知识图谱嵌入 模型， 具体为： 1.1将动态知识图谱数据的头实体向量、 尾实体向量、 关系向量和时间向量， 分别按照 时间粒度进行切割； 所述时间粒度的数量大于等于2； 1.2将切割后的时间向量， 分别嵌入到对应时间粒度的切割后的头实体向量， 得到各个 时间粒度的头实体嵌入； 将切割后的时间向量， 分别嵌入到对应时间粒度的切割后的尾实 体向量， 得到各个时间粒度的尾实体嵌入； 将切割后的时间向量， 分别嵌入到对应时间粒度 的切割后的关系向量， 得到各个时间粒度的关系嵌入； 1.3将相同时间粒度的头实体嵌入、 尾实体嵌入和关系嵌入进行链接， 得到嵌入绑定三 元组； 1.4将嵌入绑定三元组按照时间粒度依次排列得到矩阵； 通过卷积核集合将所述矩阵 进行卷积， 得到多个特征图； 将多个特征图连接得到单一特征向量， 再通过点积将单一特征 向量与权 重向量相乘， 得到三元组得分； 本地多轮训练所述多粒度动态知识图谱嵌入模型： 采取正例和负例， 通过最小化损 失 函数来进 行训练， 并对权重向量进行正则化； 所述正例为： 属于该客户端的动态知识图谱数 据集的数据； 所述负例为： 将所述 正例中， 头实体向量或尾实体向量 替换为随机实体向量； 步骤2， 多个完成本地多轮训练多粒度动态知识图谱嵌入模型的客户端， 将模型的卷积 核集合和权重 向量上传到服务器， 服务器按照平均聚合规则更新卷积核集合和权重 向量， 之后下传到每 个客户端； 重复执行步骤1、 步骤2多轮后， 得到全局多粒度动态知识图谱嵌入 模型。 2.如权利要求1所述的基于联邦学习的多粒度动态知识图谱嵌入模型构造方法， 其特 征在于， 所述重复执行步骤1、 步骤2多轮后， 得到全局多粒度动态知识图谱嵌入模型， 替换 为： 重复执行步骤1、 步骤2， 直至满足全局模型收敛条件后， 得到全局多粒度动态知识图谱 嵌入模型。 3.如权利要求1所述的基于联邦学习的多粒度动态知识图谱嵌入模型构造方法， 其特 征在于， 所述步骤2中， 服务器按照平均聚合规则更新卷积核集合和权重向量， 替换为： 服务 器按照平均聚合 规则更新卷积核集 合， 按照多粒度聚合 规则更新权 重向量； 所述服务器按照多粒度聚合 规则更新权 重向量， 具体为： 2.1将客户端上传到服务器的权重向量， 按照时间粒度进行切割， 得到该客户端具有不 同时间粒度的权 重分量； 2.2服务器将所有具有相同时间粒度的权重分量求和， 再根据上传该时间粒度的客户 端的总量， 求得 该时间粒度的权 重分量平均值； 2.3服务器将不同时间粒度的权重分量平均值， 更新客户端的不同时间粒度的权重分 量， 再按照时间粒度进行组合， 得到该客户端的权 重向量。权　利　要　求　书 1/1 页 2 CN 115062159 A 2基于联邦学习的多粒度动态知识图谱 嵌入模型构造方 法 技术领域 [0001]本发明涉及人工智能和联邦学习技术领域， 特别是一种基于联邦学习的多粒度动 态知识图谱嵌入 模型构造方法。 背景技术 [0002]知识图谱是一种图谱组织形 式， 通常使用有效的结构化信息来描述实体之间的语 义关联性， 诸如Freebase、 YAGO、 NELL等大型知识图谱已经在自然语 言处理、 智能问答、 推荐 系统等人工智能应用中展现出巨大的价值。 知识图谱的通用表示方式是大量事实三元组的 集合， 每个三元组的形式为(头实体， 关系， 尾实体)， 也可以表示为(h,r,t)， 用来表 明两个 实体之间的关系。 而动态知识图谱主要融入了时间的信息， 将三元 组(h,r,t)扩展到四元 组 (h,r,t, τ )， 其中τ是三元组(h,r,t)的时间信息， 可以包含不同时间粒度。 知识图谱嵌入方 法则是将知识图谱中的实体和关系表示成同一语义空间中的向量， 这些实体和关系的嵌入 可以进一步应用于各种 下游任务中， 如知识图谱补全、 关系提取、 实体分类和实体解析。 由 于时序信息非常重要， 且不同粒度的时间信息包含了不同的含义， 例如有些事实只在年的 粒度内有效， 有些事实只在月的粒度下有效(如某家店铺的月营业额)， 有些事实只在日的 粒度下有效(如某天发生的热门事件)。 而动态知识图谱嵌入技术目前只简单考虑时序信息 对于事实三元组的影响， 并没有关注不同时间粒度的信息与事实三元组的关联性， 这使得 动态知识图谱嵌入 模型在对 事实三元组进行表征的时候 准确性较低， 冗余信息高。 [0003]现实中， 由于数据中包含大量个人隐私、 商业机密等， 重视数据隐私和安全已经成 为近年来数据领域的最重要趋势。 2016年 欧盟通过的 《通用数据保护条例》 (GDPR)， 2018年 紧随其后的 《美国加州消费者隐私法》 (CCPA)和2021  年中国实施的 《中华人民共和国信息 保护法》 都表明了 国内外对数据隐私和 安全问题愈发关注， 相关法律法规对数据隐私保护 的监管也变得越来越严苛。 毫无疑问的是， 在这种情况下， 数据孤岛会逐渐显现， 导致大数 据与人工智能的结合不完美， 数据价值无法被充分挖掘和释放。 而联邦学习正是在隐私保 护和数据挖掘的背景下被提出， 旨在保证各参与者原始数据不出库的前提下， 通过服务器 交互不可逆的中间信息完成联合建模。 目前的联邦学习基础框架与动态知识图谱嵌入模型 结合时， 可以将模型参数上传至服务器进 行聚合， 但没有考虑部 分粒度参数的选择性上传， 使得训练过程中客户端和服 务器的通信效率低。 [0004](1)动态知识图谱嵌入 [0005]参考文献1 “Diachronic  embedding  for temporal  knowledge  graph  completion ”  (R.Goel,S.M.Kazemi,M.Brubaker,P.Poupart,Proceedings  of the AAAI Conference  on Artificial  Intelligence,pp.3988 ‑3995,2020)和参考文献2 “Hyte:  Hyperplane ‑based temporally  aware knowledge  graph embedding ”(S.S.Dasgupta,   S.N.Ray,P.Talukdar,Proceedings  of the Conference  on Empirical  Methods in Natural Language  Processing,pp.2001 ‑2011,2018)在知识图谱数据中加入时间维度分 别提出DE模型和HyTE模型。 DE模型增加了一个历时的实体嵌入函数来建立新的时间上的知说　明　书 1/8 页 3 CN 115062159 A 3