(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211161306.6 (22)申请日 2022.09.23 (65)同一申请的已公布的文献号 申请公布号 CN 115270001 A (43)申请公布日 2022.11.01 (73)专利权人 宁波大学 地址 315000 浙江省宁波市江北区风 华路 818号 (72)发明人 刘柏嵩　江学勇　钦蒋承　张雪垣　 罗林泽　 (74)专利代理 机构 宁波中致力专利代理事务所 (普通合伙) 33322 专利代理师 张圆　黄挺 (51)Int.Cl. G06F 16/9535(2019.01) G06F 21/62(2013.01)G06N 20/20(2019.01) (56)对比文件 US 2022224717 A1,202 2.07.14 CN 110197285 A,2019.09.0 3 CN 114169010 A,202 2.03.11 CN 114398538 A,202 2.04.26 CN 114003949 A,202 2.02.01 CN 113222175 A,2021.08.0 6 CN 110990871 A,2020.04.10 CN 109656529 A,2019.04.19 吴涛等.一种改进的系统间隐私保持协同过 滤推荐算法. 《计算机 工程与应用》 .2012,(第15 期), 任豪等.面向知识迁移的跨领域推荐算法研 究进展. 《计算机科 学与探索》 .2020, 审查员 张改红 (54)发明名称 基于云端协同学习的隐私保护推荐方法及 系统 (57)摘要 本发明公开了一种基于云端协同学习的隐 私保护推荐方法及系统， 推荐方法包括： 将用户 数据分为公开数据和隐私数据， 中央服务器收集 各用户终端设备中的公开数据并构建公开数据 集， 基于公开数据集训练公共模型； 各用户在其 终端设备中基于隐私数据训练本地私有模型， 并 将模型梯度发送至中央服务器， 中央服务器聚合 接收到的梯度， 使用聚合后的梯度更新全局私 有 模型， 并将更新结果发送至用户终端设备； 迭代 训练直至私有模 型收敛； 各用户在本地融合公开 模型和私有模 型以获得最终推荐模 型， 并基于最 终推荐模型预测用户对候选集项目评分， 根据评 分完成推荐。 本发明解决了 现有的隐私保护推荐 技术中推荐精度不高和用户终端设备计算负荷 过大的问题。 权利要求书2页 说明书10页 附图4页 CN 115270001 B 2022.12.23 CN 115270001 B 1.基于云端协同学习的隐私保护推荐方法， 其特 征在于： 包括以下步骤： 步骤S1、 各用户终端设备本地获取与用户对应的公开数据； 步骤S2、 中央服务器收集步骤S1中各用户终端设备的公开数据， 并基于接收到的公开 数据构建公共数据集； 步骤S3、 中央服务器基于步骤S2构建的公共数据集迭代训练公共模型， 直至公共模型 收敛； 步骤S4、 中央服 务器将步骤S3训练好的公共 模型发送至各用户终端设备； 步骤S5、 各用户终端设备本地获取用户的隐私数据与推荐 项目的特 征数据； 步骤S6、 中央服务器选取参与本轮训练的用户， 被选中的用户根据全局私有模型初始 化本地私有模型； 步骤S7、 被选中的用户在本地迭代训练私有模型， 基于步骤S5获取的用户隐私数据与 推荐项目的特征数据确定当前迭代中本地私有模型对应的准确率以及损失函数梯度， 并将 本地私有模型对应的准确率以及加噪后的梯度发送至中央服 务器； 步骤S8、 中央服务器根据各用户本地私有模型对应的准确率对梯度进行聚合， 并根据 梯度聚合结果更新全局私有模型； 步骤S9、 中央服务器根据 更新后的全局私有模型， 执行下一次迭代， 将更新后的私有模 型发送至被选中的用户； 通过循环迭代的方式不断进 行训练， 直至全局私有模型收敛， 结束 训练过程并将收敛后的模型下发至所有用户终端设备， 各用户终端设备使用收敛后的全局 私有模型的参数值重新初始化 其本地私有模型； 步骤S10、 各用户终端设备在本地融合步骤S4中的公共模型和步骤S9中的私有模型， 以 获得最终的推荐模型； 步骤S11、 各用户终端设备使用最终的推荐模型预测用户对项目的评分， 根据评分为用 户进行项目推荐。 2.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法， 其特征在于： 所述步 骤S1至步骤S4进行的同时， 同步进行步骤S5 至步骤S9。 3.根据权利要求2所述的基于云端协同学习的隐私保护推荐方法， 其特征在于： 所述步 骤S9中若更新后的私有模 型未收敛， 则返回步骤S 6， 再次进行步骤S6至步骤S9的操作； 若步 骤S9中更新后的私有模型已收敛， 则进入步骤S10 。 4.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法， 其特征在于： 所述步 骤S10中获得最终的推荐模型为： 其中， 为最终的推荐模型， ， ， ( )用来调节 对 和 的依赖程度， 当 ， 完全依赖 ； 当 ， 完全依赖 。 5.根据权利要求1所述的基于云端协同学习的隐私保护推荐方法， 其特征在于： 所述步 骤S7中计算出私有模型的损失函数梯度后， 对损失函数梯度添加差分隐私噪声， 再将含有 噪声的梯度发送给中央服 务器。 6.基于云端协同学习的隐私保护推荐系统， 其特征在于： 包括第 一获取模块、 第 二获取 模块、 第一训练模块、 第二训练模块、 隐私保护模块、 融合模块和预测模块；权　利　要　求　书 1/2 页 2 CN 115270001 B 2所述第一获取模块用于在本地获取与用户对应的公开数据； 所述第二获取模块用于在本地获取与用户对应的隐私数据以及推荐 项目的特 征数据； 所述第一训练模块用于在中央服务器迭代训练公共模型的过程中， 执行如下操作： 收 集各用户终端设备 的公开数据， 并基于接 收到的公开数据构建公共数据集； 基于所述公共 数据集迭代训练公共模型， 直至公共模型收敛； 将所述收敛后的公共模型发送至所有用户 终端设备； 所述第二训练模块用于在本地迭代训练私有模型的至少一 次迭代过程中， 执行如下操 作： 基于获取的用户隐私数据与推荐项目特征数据确定 当前迭代中本地私有模型对应的准 确率以及损失函数梯度， 并将准确 率以及加入 噪声的损失函数梯度发送至中央服务器； 所 述中央服务器选择准确率高于 设定阈值的用户， 根据这些用户所发送的加入噪声的损失函 数梯度的聚合结果更新全局私有模型， 并将更新后的全局私有模型发送至参与下一次迭代 的用户终端设备； 根据所述更新后的私有模型， 执行下一次迭代； 通过循环迭代的方式不断 进行训练， 直至全局私有模型收敛， 结束训练过程并将收敛后的模型下发至所有用户终端 设备， 各用户终端设备使用收敛后的全局私有模型的参数值重新初始化 其本地私有模型； 所述隐私保护模块用于本地在向中央服务器发送的损失函数梯度 上加入噪声， 并根据 所采用的加噪机制计算用户的隐私损失； 所述融合模块用于在本地融合私有模型和公共 模型， 以获得最终推荐模型； 所述预测模块用于根据最终推荐模型预测用户对项目的偏好程度， 以根据所述偏好程 度为用户进行项目推荐。 7.根据权利要求6所述的基于云端协同学习的隐私保护推荐系统， 其特征在于： 所述公 开数据为用户主动提供给系统的数据， 包括点击、 评分、 评论； 所述公开数据用于描述用户 对应于多个推荐项目的偏好情况， 多个用户终端设备各自获取的公开数据中具有相同的项 目集。 8.根据权利要求6所述的基于云端协同学习的隐私保护推荐系统， 其特征在于： 所述隐 私数据为用户个人信息数据， 包括职 业、 年龄、 性别、 位置； 所述特征数据为用于描述项目基 本属性及特 征的数据， 包括类别、 价格。权　利　要　求　书 2/2 页 3 CN 115270001 B 3