(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210380007.5 (22)申请日 2022.04.12 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 郑龙飞　王磊　王力　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06N 20/00(2019.01) G06F 21/62(2013.01) (54)发明名称 联合更新模型的方法及装置 (57)摘要 本说明书实施例提供一种联合更新模型的 方法及装置， 在联邦学习过程中， 训练成员上传 部分待同步参数， 服务方向训练成员下发部分待 同步参数的聚合值， 从而减少联合训练过程中的 数据通信量。 其中， 针对 单个训练成员， 基于训练 成员上传的待同步参数和服务方确定的聚合值 共同选择下发的聚合值， 从而充分考虑训练成员 的本地数据特点， 以及全局数据特点， 使得通过 联邦学习训练的模型更加符合实际业务需求， 提 高联邦学习的有效性。 权利要求书4页 说明书15页 附图3页 CN 114676838 A 2022.06.28 CN 114676838 A 1.一种联合更新模型的方法， 应用于服务方与多个训练成员联合更新模型的过程， 其 中， 各个训练成员的局部模型与服 务方持有的全局模型 结构一致， 所述方法包括： 各个训练成员各自利用本地训练样本更新模型对应的M个待 同步参数， 各个待 同步参 数一一对应于所述模型的各个待定参数； 各个训练成员各自从M个待同步参数中选择多个待同步参数以上传相应的各个至服务 方， 其中， 单个训练成员i选择的待同步 参数个数为mi； 服务方聚合各个训练成员上传的待同步值， 得到M个待同步参数分别对应的M个聚合 值； 服务方根据所述M个聚合值为各个训练成员分别反馈各个同步参数集， 其中， 单个训练 成员i对应的同步参数集Wi对应有ni个聚合值， 所述ni个聚合值对应的ni个待同步参数经由 其上传的mi个待同步 值和所述M个聚合 值共同确定； 各个训练成员各自利用相应的同步参数集更新本地模型中的待定参数， 从而更新本地 模型。 2.根据权利要求1所述的方法， 其中， 单个待 同步参数为单个待定参数、 单个待定参数 的梯度、 单个待定参数的当前值与初始值的差值中的一项。 3.根据权利要求1所述的方法， 其中， 各个训练成员的本地模型的待定参数由服务方统 一进行初始化， 各个训练成员的本地训练样本之间构成水平切分。 4.根据权利要 求1所述的方法， 其中， 单个训练成员i选 择的待同步参数个 数mi根据预定 的局部激活比例与待同步 参数的数量M的乘积确定 。 5.根据权利要求1所述的方法， 其中， 单个训练成员i通过剪枝、 稀疏化模型中的至少一 种方式确定上传的待同步 参数个数mi。 6.根据权利要求1所述的方法， 其中， 服务方针对单个待同步参数的待同步值的聚合可 以通过各个训练成员关于该单个待同步参数值上传的待同步值的加权求和、 求均值、 取中 位数、 取最大值、 取最小值中的至少一种方式进行。 7.根据权利要求1所述的方法， 其中， 针对训练成员i， mi个待同步值描述出局 部稀疏值 集 所述M个聚合值描 述出全局模型的聚合值集Ws,t， 服务方通过以下方式确定相应的同 步参数集Wi： 对全局模型的聚合 值集Ws,t进行稀疏化， 得到全局稀疏值 集 基于局部稀疏值 集 和全局稀疏值 集 确定相应的同步 参数集Wi。 8.根据权利要求7所述的方法， 其中， 全局模型的聚合值集通过矩阵描述， 局部稀疏值 集、 全局稀疏值 集分别通过局部稀疏矩阵、 全局稀疏矩阵描述。 9.根据权利要求8所述的方法， 其中， 所述基于局部稀疏值集 和全局稀疏值集 确定相应的同步 参数集Wi包括： 分别检测局部稀疏矩阵 和全局稀疏矩阵 中的非零元素位置， 得到局部稀疏位置 矩阵Mi,t和全局稀疏位置矩阵Ms,t； 基于稀疏位置矩阵Mi,t和Ms,t的非零元素位置的并集 确定同步参数集对应的稀疏位 置矩阵 权　利　要　求　书 1/4 页 2 CN 114676838 A 2按照稀疏位置矩阵 指示的非零元素位置从各个聚合值中选择相应的若干个聚合值 构成同步 参数集Wi。 10.根据权利要求9所述的方法， 其中， 稀疏位置矩阵 中的非零元 素位置为： 并集 中的非零元 素位置； 从并集 中随机选择的预定数量的非零元 素位置； 按照预定选择概率从并集 中选择的预定数量的非零元素位置， 其 中， 针对稀疏位置 矩阵Mi,t和Ms,t的非零元 素位置的交集 位置的第一选择概 率大于其 他位置的第二选择概 率。 11.根据权利要求8所述的方法， 其中， 所述基于局部稀疏值集 和全局稀 疏值集 确定相应的同步 参数集Wi包括： 获取全局模型对应的M个聚合 值的全局稀疏矩阵 对比局部稀疏矩阵 和全局稀疏矩阵 的相关性， 得到相关性系数βi,t； 基于所述相关性系数βi,t， 确定同步 参数集Wi对应的稀疏位置矩阵 根据稀疏位置矩阵 中的非零元 素和各个聚合 值， 确定同步 参数集Wi。 12.根据权利要求11所述的方法， 其中， 对比局部稀疏矩阵 和全局稀疏矩阵 的 相关性， 得到相关性系数βi,t包括： 检测局部稀疏矩阵 和全局稀疏矩阵 的相关性距离， 所述相关性距离为局部稀 疏矩阵 和全局稀疏矩阵 或者局部稀疏位置矩阵Mi,t和全局稀疏位置矩阵Ms,t的欧 拉距离、 余弦距离、 曼哈顿距离、 皮尔逊相似度、 杰卡德相似度、 汉明距离中的一种； 根据所述相关性距离的归一 化结果确定所述相关性系数βi,t。 13.根据权利 要求11所述的方法， 其中， 所述基于所述相关性系数βi,t， 确定同步参数集 Wi对应的稀疏位置矩阵 包括： 从局部稀疏位置矩阵Mi,t和全局稀疏位置矩阵Ms,t的交集位置矩阵 中选择第一数量 N1的非零元 素位置， 得到第一 位置矩阵 从Mi,t关于 的非零元素补集矩阵 中选择第二数量N2的非零元素位 置， 得到第二 位置矩阵 从Ms,t关于 的非零元素补集矩阵 中选择第三数量N3的非零元素位 置， 得到第三 位置矩阵 基于第一位置矩阵 第二位置矩阵 第三位置矩阵 的和确定稀疏位置矩阵 14.根据权利要求13所述的方法， 其中， 所述第一数量N1为交集位置矩阵 中的非零元 素数量ki,t， 所述第二数量N2与相关性系数βi,t正相关， 所述第三数量N3与相关性系数βi,t负权　利　要　求　书 2/4 页 3 CN 114676838 A 3