(19)国家知识产权局
(12)发明 专利
(10)授权公告 号
(45)授权公告日
(21)申请 号 202210579745.2
(22)申请日 2022.05.26
(65)同一申请的已公布的文献号
申请公布号 CN 114676166 A
(43)申请公布日 2022.06.28
(73)专利权人 阿里巴巴 (中国) 有限公司
地址 311121 浙江省杭州市余杭区五常街
道文一西路969号3幢5层5 54室
(72)发明人 姚文辉 董元元
(74)专利代理 机构 北京智信禾专利代理有限公
司 11637
专利代理师 吴肖肖
(51)Int.Cl.
G06F 16/2455(2019.01)
G06F 16/23(2019.01)G06F 16/25(2019.01)
G06F 16/27(2019.01)
(56)对比文件
CN 110554834 A,2019.12.10
CN 113204435 A,2021.08.0 3
CN 110309156 A,2019.10.08
WO 20161976 66 A1,2016.12.15
WO 2016086552 A1,2016.0 6.09
审查员 李文静
(54)发明名称
数据处理方法及装置
(57)摘要
本说明书实施例提供数据处理方法及 装置,
其中所述数据处理方法应用于数据处理系统的
数据读取模块, 包括: 确定待查询数据对应的目
标数据节 点; 从所述目标数据节 点中获取数据写
入模块对应的更新数据查询端口; 根据所述待查
询数据的属性信息生成数据更新查询请求, 并将
所述数据更新查询请求发送至所述更新数据查
询端口对应的所述数据写入模块; 接收所述数据
写入模块针对所述数据更新查询请求发送的数
据更新信息; 基于所述数据更新信息, 获取所述
数据写入模块写入所述目标数据节 点中的、 所述
待查询数据的更新数据。 从而避免了数据读取模
块无法及时的获取到更新数据的问题, 提高了数
据写入模块与数据读取模块之间数据同步的时
效性。
权利要求书3页 说明书17页 附图4页
CN 114676166 B
2022.10.11
CN 114676166 B
1.一种数据处理方法, 应用于分布式存储系统中的数据读取模块, 所述分布式存储系
统包括所述数据读取模块、 数据写入 模块以及目标 数据节点, 所述方法包括:
确定待查询数据对应的所述目标 数据节点;
从所述目标 数据节点中获取 所述数据写入 模块对应的更新数据查询端口;
根据所述待查询数据的标识信 息生成数据 更新查询 请求, 并将所述数据 更新查询请求
发送至所述更新数据查询端口对应的所述数据写入 模块;
接收所述数据写入 模块针对所述数据更新 查询请求发送的数据更新信息;
基于所述数据更新信息, 获取所述数据写入模块写入所述目标数据节点中的、 所述待
查询数据的更新数据。
2.根据权利要求1所述的数据处理方法, 所述根据所述待查询数据的标识信息生成数
据更新查询请求, 包括:
在确定所述待查询数据满足预设更新条件的情况下, 确定所述待查询数据的标识信
息, 并基于所述标识信息生成数据更新 查询请求。
3.根据权利要求2所述的数据处理方法, 所述确定所述待查询数据满足预设更新条件,
包括:
在接收到针对所述待查询数据的数据获取请求的情况下, 确定所述待查询数据满足预
设更新条件; 或
在当前时间满足预设时间条件的情况 下, 确定所述待查询数据满足预设更新条件。
4.根据权利要求1或2所述的数据处理方法, 所述接收所述数据写入模块针对所述数据
更新查询请求发送的数据更新信息之前, 还 包括:
在基于所述更新数据查询端口, 确定所述数据写入模块存在异常的情况下, 从所述目
标数据节点中确定所述待查询数据对应的、 更新后的数据写入 模块;
从所述目标 数据节点中获取 所述更新后的数据写入 模块对应的更新数据查询端口;
通过所述更新数据查询端口, 将所述数据 更新查询 请求发送至所述更新后的数据写入
模块。
5.根据权利要求4所述的数据处理方法, 所述基于所述更新数据查询端口, 确定所述数
据写入模块存在异常, 包括:
在确定无法通过所述更新数据查询端口, 将所述数据更新查询请求发送至所述数据写
入模块的情况 下, 确定所述数据写入 模块存在异常; 或者
在将所述数据 更新查询 请求发送至所述更新数据查询端口对应的所述数据写入模块,
且未接收到所述数据写入模块反馈的数据更新信息的情况下, 确定所述数据写入模块存在
异常, 其中, 所述数据更新信息为所述数据写入 模块针对所述数据更新 查询请求反馈的。
6.根据权利要求1所述的数据处理方法, 所述根据所述待查询数据的标识信息生成数
据更新查询请求, 包括:
确定所述待查询数据的标识信息、 所述待查询数据对应的数据更新信息发送条件、 以
及更新数据接收端口;
基于所述标识信息、 所述数据更新信息发送条件以及所述更新数据接收端口, 生成数
据更新查询请求。
7.根据权利要求6所述的数据处理方法, 所述接收所述数据写入模块针对所述数据更权 利 要 求 书 1/3 页
2
CN 114676166 B
2新查询请求发送的数据更新信息, 包括:
接收所述数据写入模块响应于所述数据更新查询请求、 在确定所述待查询数据满足数
据更新信息发送条件的情况 下, 通过所述更新数据接收端口发送的数据更新信息 。
8.根据权利要求6所述的数据处理方法, 所述接收所述数据写入模块针对所述数据更
新查询请求发送的数据更新信息之前, 还 包括:
确定将所述数据 更新查询 请求, 发送至所述更新数据查询端口对应的所述数据写入模
块的请求发送时间;
计算当前时间与所述请求发送时间之间的时间值;
在确定所述 时间值大于预设异常时间阈值, 且没有接收到所述数据写入模块发送的数
据更新信息的情况 下, 确定所述数据写入 模块存在异常;
在确定所述数据写入模块存在异常的情况下, 从所述目标数据节点中确定所述待查询
数据对应的、 更新后的数据写入 模块;
从所述目标 数据节点中获取 所述更新后的数据写入 模块对应的更新数据查询端口;
通过所述更新数据查询端口, 将所述数据 更新查询 请求发送至所述更新后的数据写入
模块。
9.根据权利要求1所述的数据处理方法, 所述确定待查询数据对应的目标数据节点, 包
括:
接收针对所述待查询数据的数据获取请求;
响应于所述数据获取请求, 确定存储所述待查询数据对应的数据存储节点, 以及确定
所述数据存 储节点对应的元 数据节点。
10.根据权利要求9所述的数据处理方法, 所述从所述目标数据节点中获取数据写入模
块对应的更新数据查询端口, 包括:
根据所述待查询数据的标识信 息生成端口获取请求, 并将所述端口获取请求发送至所
述元数据节点;
接收所述元数据节点发送的、 数据写入模块对应的更新数据查询端口, 其中, 所述数据
写入模块为向所述数据存储节点中写入与所述标识信息对应的所述待查询数据的模块, 所
述更新数据查询端口为所述数据写入 模块写入至所述元 数据节点的端口。
11.根据权利要求9所述的数据处理方法, 所述基于所述数据更新信息, 获取所述数据
写入模块写入所述目标 数据节点中的、 所述待查询数据的更新数据, 包括:
基于所述数据更新信息以及本地数据信息, 确定更新数据对应的更新数据标识信息;
基于所述待查询数据在所述数据存储节点中的位置信 息, 确定所述数据写入模块写入
至所述数据存 储节点中的所述待查询数据;
基于所述更新数据标识信息, 从所述待查询数据中获取 更新数据。
12.一种数据处理装置, 应用于分布式存储系统中的数据读取模块, 所述分布式存储系
统包括所述数据读取模块、 数据写入 模块以及目标 数据节点, 所述装置包括:
确定模块, 被 配置为确定待查询数据对应的所述目标 数据节点;
第一获取模块, 被配置为从所述目标数据节点中获取所述数据写入模块对应的更新数
据查询端口;
发送模块, 被配置为根据所述待查询数据的标识信息生成数据更新查询请求, 并将所权 利 要 求 书 2/3 页
3
CN 114676166 B
3
专利 数据处理方法及装置
文档预览
中文文档
25 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 02:40:45上传分享