(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211264311.X (22)申请日 2022.10.17 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 杨威　辛邦洲　黄刘生　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 鄢功军 (51)Int.Cl. G06F 21/62(2013.01) G06N 20/00(2019.01) G06F 21/60(2013.01) G06K 9/62(2022.01) H04L 9/08(2006.01)H04L 9/40(2022.01) (54)发明名称 基于差分隐私置乱模型的联邦协同蒸馏方 法及系统 (57)摘要 本发明公开了一种基于差分隐私置乱模型 的联邦协同蒸馏方法及系统。 该方法包括： 联邦 服务器通过无放回子采样方法对客户端进行随 机采样， 得到参与联邦训练的客户端； 联邦服务 器生成密钥和公共无标签数据集， 并将密钥和公 共无标签数据集发送到参与联邦训练的客户端； 参与联邦训练的客户端利用本地数据集对本地 分类器进行训练， 得到训练完成的本地分类器； 训练完成的本地分类器对公共无标签数据集进 行预测， 得到预测结果， 并将预测结果进行加密 后上传到混淆器中； 混淆器对预测结果进行匿名 和乱序处理， 并将得到的处理结果上传到联邦服 务器中； 联邦服务器将处理结果进行解密和聚合 处理， 得到软标签， 并将软标签传输到下一轮参 与联邦训练的客户端中。 权利要求书3页 说明书9页 附图7页 CN 115329387 A 2022.11.11 CN 115329387 A 1.一种基于 差分隐私置乱模型的联邦协同蒸馏方法， 包括： 联邦服务器通过无放 回子采样方法对M个客户端进行随机采样， 得到N个参与 联邦训练 的客户端， 其中， M和N均为 正整数， N< M； 所述联邦服务器生成密钥和公共无标签数据集， 并将所述密钥和所述公共无标签数据 集发送到所述 N个参与联邦训练的客户端； 每个所述参与联邦训练的客户端利用自身的本地数据集对自身的本地分类器进行训 练， 得到N个训练完成的本地分类 器； 每个所述训练完成的本地分类器对所述公共无标签数据集进行预测， 得到预测结果， 并将所述预测结果进行加密后上传到混淆器中； 所述混淆器利用shuffle方法对来自所述N个参与联邦训练的客户端 的预测结果进行 匿名和乱序处理， 并将得到的N个处理结果上传到所述联邦服务器中， 其中， 所述shuffle方 法用于实现隐私放大； 所述联邦服务器将所述N个处理结果进行解密和聚合处理， 得到软标签， 并将所述软标 签传输到下一轮参与联邦训练的客户端中， 其中， 所述软标签作为所述公共无标签数据集 的标签。 2.根据权利要求1所述的方法， 其中， 所述联邦服务器生成密钥和公共无标签数据集， 并将所述密钥和所述公共无 标签数据集发送到所述 N个参与联邦训练的客户端包括： 所述联邦服 务器对联邦训练的轮次进行判断， 得到判断结果； 所述联邦服 务器生成所述密钥和所述公共无 标签数据集； 所述联邦服务器对所述公共无标签数据集进行聚类处理， 得到聚类后的无标签数据 集； 在所述判断结果是首轮联邦训练的情况下， 通过所述联邦服务器将所述密钥和所述 聚 类后的无 标签数据集发送到所述 N个参与联邦训练的客户端中； 在所述判断结果不是首轮联邦训练 的情况下， 所述联邦服务器将上一轮联邦训练的软 标签、 所述密钥以及所述聚类后的无 标签数据集发送所述 N个参与联邦训练的客户端中。 3.根据权利要求2所述的方法， 其中， 所述联邦服务器对所述公共无标签数据集进行聚 类处理， 得到聚类后的无 标签数据集包括： 所述联邦服务器利用卷积神经网络对所述公共无标签数据集进行特征提取， 得到提取 结果； 所述联邦服务器利用K平均聚类方法对所述提取结果进行聚类， 得到聚类后的无标签 数据集； 其中， 所述聚类后的无标签数据集与所述参与 联邦训练 的客户端的本地数据集具有相 同的数据类型。 4.根据权利要求1所述的方法， 其中， 每个所述参与 联邦训练的客户端利用自身的本地 数据集对自身的本地分类 器进行训练， 得到N个训练完成的本地分类 器包括： 所述参与联邦训练的客户端通过 所述联邦服 务器获取 联邦训练的轮次信息； 在所述轮次信 息是首轮联邦训练的情况下， 所述参与 联邦训练 的客户端将自身的本地 数据集作为训练数据集， 并用于对自身的本地分类器进行训练， 得到训练完成的本地分类 器；权　利　要　求　书 1/3 页 2 CN 115329387 A 2在所述轮次信 息不是首轮联邦训练 的情况下， 所述参与联邦训练 的客户端将上一联邦 训练轮次中从所述联邦服务器发送过来的软标签作为接 收到的所述公共无标签数据集的 标签， 将带有软标签的公共数据集加入到所述本地数据集中， 并利用新的本地数据集训练 所述本地分类 器， 得到训练完成的本地分类 器。 5.根据权利要求1所述的方法， 其中， 每个所述训练完成的本地分类器对所述公共无标 签数据集进行 预测， 得到预测结果， 并将所述预测结果进行加密后上传到混淆器中包括： 所述参与联邦训练的客户端利用自身训练完成的本地分类器对所述公共无标签数据 集进行预测， 得到预测结果； 所述参与 联邦训练的客户端获取联邦服务器的聚类结果， 并根据 所述聚类结果对所述 预测结果进行平 滑和隐私处 理， 得到处 理结果； 所述参与 联邦训练的客户端利用所述密钥对所述处理结果进行加密， 并将加密后的预 测结果上传到所述混淆器中。 6.根据权利要求5所述的方法， 其中， 所述参与 联邦训练 的客户端获取联邦服务器的聚 类结果， 并根据所述聚类结果对所述预测结果进行平 滑和隐私处 理， 得到处 理结果包括： 所述参与联邦训练的客户端获取 联邦服务器的聚类结果； 所述参与联邦训练的客户端获取属于同一个聚类结果的预测结果的平均值； 所述参与 联邦训练的客户端将拉普拉斯噪声加入到平均值中， 并将带 噪声的平均值作 为所述预测结果的标签， 得到处 理结果。 7.根据权利要求1所述的方法， 其中， 所述联邦服务器将所述N个处理结果进行解密和 聚合处理， 得到软 标签包括： 所述联邦服 务器对所述 N个处理结果进行解密， 得到N个解密结果； 根据第一预设阈值， 所述联邦服 务器对N个解密结果进行第一次筛 选， 得到筛选结果； 所述联邦服 务器对所述筛 选结果进行加权求平均， 得到加权平均结果； 根据第二预设阈值， 所述联邦服务器对所述加权平均结果进行第二次筛选， 得到所述 软标签。 8.一种基于 差分隐私置乱模型的联邦协同蒸馏系统， 包括： 采样模块， 用于联邦服务器通过无放回子采样方法对M个客户端进行随机采样， 得到N 个参与联邦训练的客户端， 其中， M和N均为 正整数， N< M； 生成模块， 用于所述联邦服务器生成密钥和公共无标签数据集， 并将所述密钥和所述 公共无标签数据集发送到所述 N个参与联邦训练的客户端； 分类器训练模块， 用于每个所述参与 联邦训练的客户端利用自身的本地数据集对自身 的本地分类 器进行训练， 得到N个训练完成的本地分类 器； 预测处理模块， 用于每个所述训练完成的本地分类器对所述公共无标签数据集进行预 测， 得到预测结果， 并将所述预测结果进行加密后上传到混淆器中； 隐私放大模块， 用于所述混淆器利用shuffle方法对来自所述N个参与联邦训练的客户 端的预测结果进行匿名和乱序处理， 并将得到的N个处理结果上传到所述联邦服务器中， 其 中， 所述shuf fle方法用于实现隐私放大； 软标签获取模块， 用于所述联邦服务器将所述N个处理结果进行解密和聚合处理， 得到 软标签， 并将所述软标签传输到下一轮参与联邦训练的客户端中， 其中， 所述软标签作为所权　利　要　求　书 2/3 页 3 CN 115329387 A 3