(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899191.4 (22)申请日 2022.07.28 (71)申请人 浙江师范大学 地址 321004 浙江省金华市迎宾大道68 8号 (72)发明人 朱佳　施剑阳　周健　黄昌勤　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 黎扬鹏 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于交替早融合技术的联邦关系感知学习 系统、 方法和装置 (57)摘要 本申请公开了基于交替早融合技术的联邦 关系感知学习系统、 方法和装置， 本申请的系统 包括中央服务器和若干个客户端， 每个客户端由 一个联邦客户端和一个本地模型 组成， 每个客户 端的本地模 型和实体嵌入都是唯一的。 本申请的 系统能够在每个客户端可能存在的不同模式实 体数据和不同的本地模型的情况下， 具有隐私 性、 通用性和高效性。 权利要求书2页 说明书11页 附图2页 CN 115422364 A 2022.12.02 CN 115422364 A 1.基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述系统包括： 中央服 务器和若干个客户端， 每个客户端由一个联邦客户端和一个本地模型组成， 每个客户端的 本地模型和实体嵌入都是唯一的； 所述中央服务器从客户端接收本地更新和本地关系嵌入， 全局模型以跨域并行自适应 的方式进 行训练并在训练过程中交替融合嵌入的关系感知联邦学习部 分和本地模型， 使用 关系数据进 行联邦聚合早交替来完成KG， 并将所述全局模型权重和所述全局关系分发给每 个客户端； 所述联邦客户端从中央服务器接收全局关系嵌入， 利用交替融合， 使用嵌入ent_i的本 地实体来改进全局模型和全局关系嵌入， 并通过上下文关系和关系路径更新关系嵌入， 并 将本地更新的的权重和关系嵌入到rel_i中发送到中央服务器； 所述本地模型从中央服务 器接收全局关系嵌入， 利用联邦聚合早交替 实现对额外的本地实体数据和全局数据的超敏 微感利用和可塑型自适应增强， 使用g_rel 来融合rel_i以增强本地模型。 2.根据权利要求1所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述本地模型包括KGC模型， 所述KGC模型 具有统一的关系信息和预设的关系嵌入次数。 3.根据权利要求1所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述联邦客户端由关系上 下文和关系路径组成； 所述关系上下文用于描述头部实体和尾部实体的邻近关系， 获取边的相邻关系的信 息； 所述关系路径用于确定 头部实体和尾部实体的相对位置的信息 。 4.根据权利要求3所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述关系上 下文的计算公式为： 式中， c(h,t)为所述关系上下文， σ 为激活函数， h为头部实体， t为尾部实体， 为第 k‑1个模型训练过程中客户端可学习的模型权重， 为第k‑1次迭代中客户端中的头部实 体的隐藏状态， 为第k‑1次迭代中客户端中的尾部实体的隐藏状态。 5.根据权利要求3所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述关系路径的计算公式为： 式中， cp(h,t)为所述关系路径， h为头部实体， t为尾部实体， Wcp和bcp为客户端可学习的 关系路径权重， p为头部实体和尾部实体之间的路径集合以及集合中的每条路径， P(h,t)为连 接头部h和尾部t的路径的集 合， mean为求平均值 函数， linear为线性 函数。 6.根据权利要求3所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述联邦客户端根据关系上下文和关系路径得到全局权重和全局关系嵌入， 计算方法包 括：权　利　要　求　书 1/2 页 2 CN 115422364 A 2式中， Wg为客户端的全局模型权重， Wi为客户端的本地更新模型权重， Nt为所有客户端 中三元组的总数， Vi为第i个客户端中的所有实体。 7.根据权利要求1所述的基于交替早融合技术的联邦关系感知学习系统， 其特征在于， 所述系统结合所述全局关系和所述本地关系嵌入本地模型， 公式为： rel_i＝mean(g_rel+rel_i) 式中， rel_i第i个客户端中的本地关系嵌入， g_rel为联邦学习框架中的全局关系嵌 入， mean为求平均值 函数。 8.基于交替早融合技术的联邦关系感知学习方法， 其特征在于， 应用于权利要求1所述 的基于交替 早融合技术的联邦关系感知学习 系统， 所述方法包括： 从客户端接收本地更新和本地关系嵌入， 全局模型以跨域并行自适应的方式进行训练 并在训练过程中交替融合嵌入的关系感知联邦学习部分和本地模型， 使用关系数据进 行联 邦聚合早交替来完成KG， 并将所述全局模型权 重和所述全局关系分发给每 个客户端； 从中央服务器接收全局关系嵌入， 利用交替融合， 使用嵌入ent_i的本地实体来改进全 局模型和全局关系嵌入， 并通过上下文关系和关系路径更新关系嵌入， 并将本地更新的的 权重和关系嵌入到rel_i中发送到中央服务器； 从 中央服务器接收全局关系嵌入， 利用联邦 聚合早交替 实现对额外的本地实体数据和全局数据的超敏微感利用和可塑型自适应增强， 使用g_rel 来融合rel_i以增强本地模型。 9.基于交替 早融合技术的联邦关系感知学习装置， 其特 征在于， 所述装置包括： 第一模块， 用于从客户端接收本地更新和本地关系嵌入， 全局模型以跨域并行自适应 的方式进 行训练并在训练过程中交替融合嵌入的关系感知联邦学习部 分和本地模型， 使用 关系数据进 行联邦聚合早交替来完成KG， 并将所述全局模型权重和所述全局关系分发给每 个客户端； 第二模块， 用于从中央服务器接收全局关系嵌入， 利用交替融合， 使用嵌入ent_i的本 地实体来改进全局模型和全局关系嵌入， 并通过上下文关系和关系路径更新关系嵌入， 并 将本地更新的 的权重和关系嵌入到rel_i中发送到中央服 务器； 第三模块， 用于从中央服务器接收全局关系嵌入， 利用联邦聚合早交替实现对额外的 本地实体数据和全局数据的超敏微 感利用和可塑型自适应增强， 使用g_rel来融合rel_i以 增强本地模型。 10.基于交替 早融合技术的联邦关系感知学习装置， 其特 征在于， 所述装置包括： 至少一个处 理器； 至少一个存 储器， 所述存 储器用于存 储至少一个程序； 当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1 ‑7中任一项所述 的基于交替早融合技术的联邦 关系感知学习系统或权利要求8中所述的基于交替早融合技 术的联邦关系感知学习方法。权　利　要　求　书 2/2 页 3 CN 115422364 A 3