(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211471500.4 (22)申请日 2022.11.23 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 徐小龙　刘鑫钰　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 何春廷 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/62(2013.01) G06K 9/62(2022.01) (54)发明名称 一种面向云边聚合系统的多重差分隐私保 护方法及系统 (57)摘要 本发明公开了一种面向云边聚合系统的多 重差分隐私保护方法及系统， 在每个边缘服务器 上利用其自身的原始数据来对全局模型进行训 练， 得到每个边缘服务器的本地模型参数， 采用 GRR机制对每个边缘服务器的本地模型参数进行 扰动， 得到每个边缘服务器扰动后的本地模型参 数； 将每个边缘服务器扰动后的本地模型参数发 送到云中心服务器， 并在云中心服务器进行参数 聚合， 得到聚合后的全局模型参数， 向聚合后的 全局模型参数中加入拉普拉斯噪声， 得到加噪处 理的全局模型参数。 优点： 在云中心服务器与边 缘客户端中进行二重加噪， 不仅可以防范整个训 练模型外部攻击者对于用户隐私数据的窃取， 也 能够保证对于半诚实的云中心服务器对于用户 原始数据的直接获取。 权利要求书3页 说明书9页 附图3页 CN 115510472 A 2022.12.23 CN 115510472 A 1.一种面向云边聚合系统的多重 差分隐私保护方法， 其特 征在于， 包括： 步骤S1， 通过云中心服 务器将全局模型分发至各个边 缘服务器； 步骤S2， 在每个边缘服务器上利用其自身的原始数据来对全局模型进行训练， 得到每 个边缘服务器的本地模型参数， 采用GRR机制对每个边缘服务器的本地模型参数进 行扰动， 得到每个边缘服务器扰动后的本地模型参数； 步骤S3， 将每个边缘服务器扰动后的本地模型参数发送到云中心服务器， 并在云中心 服务器进行参数聚合， 得到聚合后的全局模型参数， 向聚合后的全局模型参数中加入拉普 拉斯噪声， 得到加噪处 理的全局模型参数； 步骤S4， 判断加噪处理的全局模型参数是否收敛或者达到更新次数； 若收敛或者达到 更新次数， 将加噪处理的全局模型参数作为最终的全局模型 的参数； 若不收敛且没达到更 新次数， 则 利用加噪处 理的全局模型参数 更新每个边缘服务器的全局模型； 步骤S5， 重复步骤S2 ‑步骤S4， 直至全局模型参数收敛或者达 到更新次数。 2.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法， 其特征在于， 所 述拉普拉斯噪声的概 率密度为： 其中， p(x)为期望为0， 方差为2 b2的拉普拉斯噪声的概率密度， b为普拉斯分布中的尺度 参数，e为自然常数， x为全局训练后所 得到的结果， μ为位置常数， μ=0。 3.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法， 其特征在于， 所 述扰动的扰动函数表示 为： 其中， Pr[M(x)=y]表示用户以 的概率发送自己真 实的答案x， 同时以 的概率随机从D中选择x外的任意一个答案y， D为答案集合， 表示为 ， 为隐私保护预 算，e为自然常数， d为答案集合D中的一个答案 。 4.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法， 其特征在于， 所 述加噪处 理的全局模型参数表示 为： 其中， 表示加噪处理的全局模型参数， 表示聚合后的全局模型参数， 表示加入的拉普拉斯 噪声， 表示在第i轮训 练后在全局模型参数中加入的噪声， Δ f为全局敏感度， ε表示隐私保护 预算， t为全局模型权　利　要　求　书 1/3 页 2 CN 115510472 A 2参数的迭代次数。 5.根据权利要求1所述的面向云边聚合系统的多重差分隐私保护方法， 其特征在于， 所 述步骤S2， 包括： 步骤1： 从云中心服务器获取最新的加噪处理的全局模型参数， 若当前轮为第一轮迭 代， 则从云中心服务器获取全局模型 的初始参数， 随机地将每一个边缘服务器的自身数据 集Dk划分为批量大小为M的训练集； 步骤2： 在各边缘服务器 中进行迭代轮数共S轮的循环， 在第i轮循环中将获取的加噪处 理的全局模 型参数作为每个边缘服务器的本地模型参数， 表示为 ， 其中B 表示批量数量， ， 计算 从1到B轮批量的梯度， 每一轮批量的序号记为b1， 的批量梯度记为 ， nk表示训练集中的第k个数据点， k=1,2, …,M， 表 示在本地第i轮训练前的初始本地模型参数， 表示在本地第i ‑1轮训练后的本地模 型参数， k表示为每一个边缘服务器本地训练集中的第k个数据点， b1表示每一个边缘服务 器训练的批量序号， i 为边缘服务器中进行训练的轮数序号； 步骤3： 在每一个边缘服务器 中， 采用步骤2的方法， 利用各边缘服务器的本地模型参数 进行更新， 表示为： ， η表示该训练的学习率， 为固定 值， 表示边缘服务器在k数据点条件下， 批量b1中第i轮训练的本地参数， 表示边缘服务器在k数据点条件下， 批量b1+1中第i轮训练的本地参数， ←表示进行参数更 新； 步骤4： 采用GRR机制对每个边缘服务器更新后的本地模型参数进行扰动， 得到扰动后 的本地模型参数 ， 将扰动后的本地模型参数 发送至中心服 务器。 6.一种面向云边聚合系统的多重 差分隐私保护系统， 其特 征在于， 包括： 分发模块， 用于通过云中心服 务器将全局模型分发至各个边 缘服务器； 本地训练模块， 用于在每个边缘服务器上利用其自身的原始数据来对全局模型进行训 练， 得到每个边缘服务器的本地模型参数， 采用GRR机制对每个边缘服务器的本地模型参数 进行扰动， 得到每 个边缘服务器扰动后的本地模型参数； 聚合模块， 用于将每个边缘服务器扰动后的本地模型参数发送到云中心服务器， 并在 云中心服务器进行参数聚合， 得到聚合后的全局模型参数， 向聚合后的全局模型参数中加 入拉普拉斯噪声， 得到加噪处 理的全局模型参数； 判断模块， 用于判断加噪处理的全局模型参数是否收敛或者达到更新次数； 若收敛或 者达到更新次数， 将加噪处理的全局模型参数作为最终的全局模型 的参数； 若不收敛且没 达到更新次数， 则利用加噪处理的全局模型参数更新每个边缘服务器的全局模型， 直至全权　利　要　求　书 2/3 页 3 CN 115510472 A 3