(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156354.6 (22)申请日 2022.09.22 (71)申请人 北京泰策 科技有限公司 地址 100176 北京市大兴区经济技 术开发 区科谷一 街8号院1号楼18层180 申请人 北京东方通科技股份有限公司 (72)发明人 陈忠国　李忱　周鑫　江何　 门殿春　孟繁荣　姚志强　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 杨敬 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01)G06F 21/62(2013.01) (54)发明名称 一种数据分布式缓存自动加载与转换方法 (57)摘要 本发明公开了一种数据分布式缓存自动加 载与转换方法； 包括有以下方法步骤： S1、 实现对 数据信息进行自动加载存储； S2、 建立存储对像， 进行数据信息的缓存； S3、 实现对数据信息进行 获取； S4、 在对数据信息进行获取的时候， 实现对 数据信息进行转换； 本发明通过Redis分布缓存 对数据信息进行缓存处理， 并且通过Redis分布 缓存的键值对 形成缓存存储， 且为了有效的实现 查询， 采用Hash计算进行数据的计算处理， 便于 进行存储处理， 并且Redis分布缓存单线 程运行， 有效的防止并发问题的产生， 且实现对节点进行 主备设定， 提高数据的准确性， 在实现对数据信 息进行转换， 使得数据信息能够有效的实现传 输， 并且能够有效的保持数据信息在转换过程中 的精准度。 权利要求书2页 说明书5页 附图2页 CN 115481158 A 2022.12.16 CN 115481158 A 1.一种数据分布式缓存自动加载与转换 方法， 其特 征在于， 包括有以下 方法步骤： S1、 实现对数据信息进行自动加载存储： 采用多节点的Redis分布缓存机构， 且每个节 点负责一部分数据的存 储， 所述Redis采用基于内存的key ‑value数据库； S2、 建立存储对像， 进行数据信息 的缓存： Redis分布缓存将Hash视作一个整体作为数 据库的value进行存储， 把Hash结构的整体看作对象， 则Hash结构里的key ‑value相当于该 对象的属性名和 属性值； S3、 对数据信息进行获取： Redis分布 缓存中完成value的相关数据操作， 实现对数据的 获取， 所述Redis采用单线程数据传输， 不存在并发数据读写的线程 安全问题； S4、 在对数据信息进行获取的过程中， 对数据信息进行转换： 数据信息获取之前， 根据 获取要求对数据信息进行转换模式处 理， 在完成数据转换之后， 对数据进行传输处 理。 2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 S1中的Redis分布缓存的key ‑value数据库支持 的数据结构包括支持简单的k/v类型， 还支 持List、 Set、 Hash类型的存 储。 3.根据权利要求2所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 Redis分布缓存 还支持持久化， 所述Redis 分布缓存的持久化由RDB和AOF实现。 4.根据权利要求3所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 Redis分布缓存定时将内存中的数据备份到磁盘中， 形成一个快照； 所述AOF即记录下所述 Redis分布缓存中所有的更新操作。 5.根据权利要求4所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 Redis分布缓存中， 提供了三种实现AOF的策略， 包括： 不同步的AOF_FSYNC_NO， 不自动触发写操作的同步； 每秒同步的AOF_FSYNC_EVERYSE C， 每隔一秒都会将写操作同步到磁 盘； 每次写都同步的AOF_FSYNC_AL WAYS， 每次发生写操作会立即同步到磁 盘； Redis所述Redis 分布缓存 采用的是每秒同步的AOF_FSYNC_EVERYSE C策略。 6.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 S3对数据的获取过程为了提高所述 Redis分布缓存的可靠性， 在每个节点进 行主备设计， 通 过设定两个参数来有效地保证数据的一致性， 且这两个参数如下所示： min ‑replicas ‑to‑ write和min ‑replicas ‑max‑lag， 所述Re dis分布缓存提供了两种同步模式， 即完整重同步 和部分重同步。 7.根据权利要求6所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 完整重同步的流 程如下所示： S301： 当备服 务器启动时， 会向主服 务器发送SYNC命令； S302： 主服务器收到命令后会生成RDB文件， 并记录从现在起 新执行的写操作； S303： RDB生成后会发送给 备服务器， 备服 务器通过RDB文件进行 数据更新； S304： 更新完成后， 主服务器再将新记录的写操作发送给备服务器， 备服务器执行完这 些新记录的写操作， 便与主服 务器的数据保持一 致； 所述部分重同步当网络恢 复后， 主数据库将主备数据库断开连接之后的一系列写操作 发送给备服务器， 备数据库执 行这些写操作， 从而保证数据保持一 致。 8.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 115481158 A 2S4中的数据信息进行转换包括有以下处 理： 平滑处理： 帮助除去数据中的噪声， 主 要方法有Bi n方法、 聚类方法和回归方法； 合计处理： 对数据进行总结或合计操作； 数据泛化处 理： 用更抽象的概念来取代低层次或数据层的数据对象； 规格化处 理： 将有关属性数据按比例投射到特定的小范围之中； 属性构造处 理： 根据已有属性 集构造新的属性， 以帮助数据处 理过程。 9.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所述 数据转换的内容包括： 数据类型转换、 数据语义转换、 数据值域转换、 数据粒度转换、 表/数 据拆分、 行列转换、 数据离 散化、 数据离 散化、 提炼新字段、 属性构造、 数据压缩等； 数据类型转换： 当数据来自不同数据源时， 需要将不同数据源的数据类型进行统一转 换为一种兼容的数据类型； 数据粒度转换： 会将业 务系统数据按照数据仓库中不同的粒度需求进行聚合； 表/数据拆分： 一个表内的多个字段， 存在表字段拆分的情况； 行列转换： 某些情况下， 表内的行列数据会需要进行转换， 用来满足基于项目和基于用 户的相似度推荐计算； 数据离散化： 将连续取值的属性离散化成若干区间， 来帮助消减一个连续属性的取值 个数； 数据标准化： 不同字段间由于字段本身的业务含义不同， 有些时间需要消除变量之间 不同数量级造成的数值之间的悬殊差异。 10.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法， 其特征在于： 所 述数据转换步骤如下： S401： 执行数据发现， 以识别源和数据类型； S402： 确定需要发生的结构和数据转换； S403： 执行数据映射以定义各个字段的映射， 修改， 连接， 过 滤和聚合方式； S404： 从原 始源提取 数据； S405： 执行转换； S406： 然后实现数据的发送。权　利　要　求　书 2/2 页 3 CN 115481158 A 3