(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211168249.4 (22)申请日 2022.09.23 (71)申请人 广东省农村信用社联合社 地址 510630 广东省广州市天河区黄埔大 道西638号广东农信大厦 申请人 北京邮电大 学 (72)发明人 李丽香　李卉桢　彭海朋　李海涛　 陈俊　戴一挥　丁一航　姚俊先　 杨方　刘济舟　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 梁军丽 (51)Int.Cl. G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 面向联邦学习的差分隐私保护方法及装置 (57)摘要 本发明提供一种面向联邦学习的差分隐私 保护方法及装置， 该方法包括： 获取参与当前轮 学习的各个客户端上传的模型权重差； 根据当前 轮学习对应的裁剪参数， 对所述各个客户端上传 的模型权重差分别执行裁剪操作； 对 执行裁剪操 作后的各个模 型权重差进行聚合， 并根据当前轮 学习对应的高斯噪声分布对聚合后的模型权重 差进行加噪处理， 完成当前轮学习的模型更新； 其中， 当前轮学习对应的高斯噪声分布根据当前 轮学习对应的噪声尺度和当前轮学习对应的裁 剪参数确定， 各轮次学习对应的噪声尺度随学习 轮次的增加逐渐减小。 能够 使所加噪声贴合当前 客户端上传的模 型权重信息特点， 从而获得更高 的模型精度， 并有效减少差分隐私保护中的隐私 预算。 权利要求书2页 说明书12页 附图2页 CN 115481441 A 2022.12.16 CN 115481441 A 1.一种面向联邦学习的差分隐私保护方法， 其特 征在于， 包括： 获取参与当前轮学习的各个客户端上传的模型权 重差； 根据当前轮学习 对应的裁剪参数， 对所述各个客户端上传的模型权重差分别执行裁剪 操作； 对执行裁剪操作后的各个模型权重差进行聚合， 并根据当前轮学习对应的高斯噪声分 布对聚合后的模型权 重差进行加噪处 理， 完成当前轮学习的模型 更新； 其中， 当前轮学习对应的高斯噪声分布根据当前轮学习 对应的噪声尺度和当前轮学习 对应的裁 剪参数确定， 各轮次学习对应的噪声尺度随学习轮次的增 加逐渐减小。 2.根据权利要求1所述的面向联邦学习的差分隐私保护方法， 其特征在于， 所述根据当 前轮学习对应的裁 剪参数， 对所述各个客户端上传的模型权 重差分别执 行裁剪操作， 包括： 对所述各个客户端上传的模型权重差分别进行范数处理， 得到各所述模型权重差的范 数值； 根据各所述模型权重差的范数值中位数， 将各所述模型权重差划分为多个模型权重差 集合； 根据每个所述模型权重差集合所对应的范数值中位数， 确定相应的模型权重差集合的 裁剪参数； 根据每个所述模型权重差集合的裁剪参数， 对相应的模型权重差集合中的模型权重差 执行裁剪操作。 3.根据权利要求2所述的面向联邦学习的差分隐私保护方法， 其特征在于， 所述当前轮 学习对应的高斯噪声分布根据当前轮学习对应的噪声尺度和当前轮学习对应的裁剪参数 中的最大值确定 。 4.根据权利要求3所述的面向联邦学习的差分隐私保护方法， 其特征在于， 所述当前轮 学习对应的高斯噪声分布为N(0,z2·Smax2)， 其中， z表示当前轮学习对应的噪声尺度， Smax表 示所述多个模型权 重差集合的裁剪参数中的最大值。 5.根据权利要求1至4任一项所述的面向联邦学习的差分隐私保护方法， 其特征在于， 所述当前轮学习对应的噪声尺度根据以下公式确定： 其中， z表示当前轮学习对应的噪声尺度， a表示初始噪量， b表示随学习轮次的增加在 每一轮所加噪量的变化 程度， c表示添加噪声的减少速度， x表示当前的学习轮次。 6.根据权利要求2所述的面向联邦学习的差分隐私保护方法， 其特征在于， 所述方法还 包括： 对于所述各个客户端中的任一目标客户端， 根据 所述目标客户端对应的执行裁剪操作 后的模型权重差和所述目标客户端当前参与联邦学习的次数， 确定所述目标客户端的当前 贡献度。 7.一种面向联邦学习的差分隐私保护装置， 其特 征在于， 包括： 获取模块， 用于获取参与当前轮学习的各个客户端上传的模型权 重差； 裁剪模块， 用于根据当前轮学习对应的裁剪参数， 对所述各个客户端上传的模型权重 差分别执 行裁剪操作；权　利　要　求　书 1/2 页 2 CN 115481441 A 2聚合加噪模块， 用于对执行裁剪操作后的各个模型权重差进行聚合， 并根据当前轮学 习对应的高斯噪声分布对聚合后的模型权重差进行加噪处理， 完成当前轮学习的模型更 新； 其中， 当前轮学习对应的高斯噪声分布根据当前轮学习 对应的噪声尺度和当前轮学习 对应的裁 剪参数确定， 各轮次学习对应的噪声尺度随学习轮次的增 加逐渐减小。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述面向联邦学习的差分隐私保护方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述 面向联邦学习的差分隐私保护方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述 面向联邦学习的差分隐私保护方法。权　利　要　求　书 2/2 页 3 CN 115481441 A 3