(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211129453.5
(22)申请日 2022.09.16
(71)申请人 中国建设银行股份有限公司
地址 100033 北京市西城区金融大街25号
申请人 建信金融科技有限责任公司
(72)发明人 朱晓康 杨红远 王黎君 胡畔
(74)专利代理 机构 中科专利商标代理有限责任
公司 11021
专利代理师 樊晓
(51)Int.Cl.
G06F 16/21(2019.01)
G06F 16/22(2019.01)
G06F 16/23(2019.01)
G06F 16/25(2019.01)
G06F 16/27(2019.01)G06F 11/07(2006.01)
(54)发明名称
数据处理方法、 装置、 设备及 介质
(57)摘要
本公开提供了一种数据处理方法、 装置、 设
备及介质, 可 以应用于大数据技术领域。 该方法
包括: 对源系统中的待迁移业务数据进行标记,
生成标记清单, 标记清单包括待迁移业务数据的
标识信息和标记参数, 待迁移业务数据包括多个
批次的业务数据, 标记参数用于表 示待迁移业务
数据的迁移批次; 根据标记清单, 从待迁移业务
数据中确定至少一个批次的目标业务数据; 以及
将目标业务数据迁移至预定的目标系统, 得到迁
移后的目标业务数据, 迁移后的目标业务数据对
目标系统呈现可读取状态, 可读取状态是根据目
标业务数据的标记参数确定的。
权利要求书3页 说明书19页 附图6页
CN 115525625 A
2022.12.27
CN 115525625 A
1.一种数据处 理方法, 包括:
对源系统中的待迁移业务数据进行标记, 生成标记清单, 所述标记清单包括所述待迁
移业务数据的标识信息和标记参数, 所述待迁移业务数据包括多个批次的业务数据, 所述
标记参数用于表示所述待迁移业 务数据的迁移批次;
根据所述标记清单, 从所述待迁移业务数据中确定至少一个批次的目标业务数据; 以
及
将所述目标业务数据迁移至预定的目标系统, 得到迁移后的目标业务数据, 所述迁移
后的目标业务数据对所述目标系统呈现可读取状态, 所述可读取状态是根据所述目标业务
数据的标记参数确定的。
2.根据权利要求1所述的方法, 其中, 所述目标业 务数据包括历史流水 数据;
所述将所述目标业 务数据迁移至目标系统, 得到 迁移后的目标业 务数据, 包括:
在迁移时段之前, 将第 一预设时间区间内的历史流水数据迁移至所述目标系统 的分布
式临时表;
在所述迁移时段内, 将第二预设时间区间内的历史流水数据迁移至所述分布式临时
表, 得到更新的分布式临 时表, 所述第二预设时间区间设置于所述迁移时段之前, 且设置于
所述第一预设时间区间之后, 所述第二预设时间区间的时长比所述第一预设时间区间的时
长短; 以及
在所述迁移时段内, 按照所述标记清单将所述更新的分布式临时表中的历史流水数据
写入分布式正式表, 得到迁移后的目标业务数据, 所述分布式正式表用于存储所述 目标系
统中的业 务数据。
3.根据权利要求2所述的方法, 其中, 所述第一预设时间区间包括M个第一时段, M大于
等于1; 所述在迁移时段之前, 将第一预设时间区间内的历史流水数据迁移至所述目标系统
的分布式临时表包括:
在第i个所述第 一时段内, 将在第 i个所述第 一时段内的历史流水数据迁移至所述分布
式临时表中, 直至M个所述第一时段内的历史流水数据均迁移至所述分布式临时表中, 其
中, i大于等于1, 且小于等于 M。
4.根据权利要求2所述的方法, 其中, 所述目标业务数据还包括附加业务数据, 所述附
加业务数据包括用户的合约数据;
所述将所述目标业 务数据迁移至目标系统, 得到 迁移后的目标业 务数据, 包括:
在所述迁移时段之前的第二时段, 对所述源系统进行卸数, 并将卸数后得到的第一附
加业务数据装载至所述分布式临时表中, 所述第二时段位于所述第二预设时间区间内, 第
一附加业 务数据为在所述第二时段之前产生的附加业 务数据;
在所述迁移时段内, 对所述第 二时段内和所述迁移时段内产生的第 二附加业务数据进
行卸数, 并将卸数后得到的第二附加 业务数据装载至所述分布式临时表中, 得到更新的分
布式临时表; 以及
在所述迁移时段内, 按照所述标记清单, 将所述更新的分布式临时表中的所述第一附
加业务数据和所述第二附加业 务数据写入分布式正式表, 得到 迁移后的目标业 务数据。
5.根据权利要求1所述的方法, 其中, 将所述目标业务数据迁移至目标系统, 得到迁移
后的目标业 务数据, 包括:权 利 要 求 书 1/3 页
2
CN 115525625 A
2从所述源系统中获取所述目标业务数据, 所述目标业务数据包括第 一类业务数据和第
二类业务数据, 所述第一类业务数据在所述源系统和所述 目标系统中的数据格式不同, 所
述第二类业 务数据在所述源系统和所述目标系统中的数据格式相同;
对所述第一类业务数据进行数据转换, 得到第三类业务数据, 所述第三类业务数据为
分布式分库分表数据, 所述第三类业务数据与所述 目标系统中的数据格式相匹配, 所述数
据转换包括表结构转换、 语法转换、 函数转换和数据比对; 以及
将所述第二类业务数据和所述第 三类业务数据迁移至所述目标系统, 得到迁移后的目
标业务数据。
6.根据权利要求5所述的方法, 还 包括:
在对所述第 一类业务数据进行数据转换的过程中, 生成与所述分布式分库分表数据对
应的分布式索引数据, 并将所述分布式索引数据传输至所述 目标系统, 所述分布式索引数
据用于确定所述分布式分库分表数据的存 储位置。
7.根据权利要求1所述的方法, 其中, 所述对源系统中的待迁移业务数据进行标记, 生
成标记清单, 包括:
对所述待迁移业务数据新增预设字段, 所述预设字段的参数为所述标记参数, 所述预
设字段的类型为字符型;
根据获取的迁移策略和所述待迁移业务数据的标识信 息, 生成与所述待迁移业务数据
对应的标记参数, 并得到包括所述标记参数 的标记清单, 所述迁移策略包括所述迁移批次
的数量、 每 个迁移批次对应的迁移时刻。
8.根据权利要求1所述的方法, 其中, 在得到 迁移后的目标业 务数据之后, 还 包括:
将与所述待迁移业务数据对应的原始过滤条件更新为目标过滤条件, 所述原始过滤条
件和所述目标 过滤条件用于确定目标业 务数据的可读取状态; 以及
在所述迁移后的目标业务数据的标记参数满足所述目标过滤条件的情况下, 确定所述
迁移后的目标业 务数据仅对所述目标系统呈现可读取状态。
9.根据权利要求8所述的方法, 还 包括:
响应于接收到的数据回迁请求, 将所述目标过滤条件恢复为原始过滤条件, 使得所述
目标业务数据仅对所述源系统呈现可读取状态。
10.根据权利要求8所述的方法, 还 包括:
响应于来自目标用户的业务请求, 获取与所述目标用户对应的迁移状态, 所述业务请
求包括查询请求和采集请求;
在确定所述目标用户的迁移状态为未迁移的情况下, 将所述业务请求路由到所述源系
统, 并接收来自所述源系统的第一处理结果, 所述第一处理结果是根据所述源系统中与所
述业务请求对应的第一 业务数据确定的;
在确定所述目标用户的迁移状态为已迁移的情况下, 将所述业务请求路由到所述目标
系统, 并接 收来自所述 目标系统的第二处理结果, 所述第二处理结果是根据所述 目标系统
中与所述 业务请求对应的第二 业务数据确定的; 以及
在确定所述目标用户的迁移状态为迁移中的情况下, 返回预设处理结果, 所述预设处
理结果包括 等待时间和预设 建议语句。
11.根据权利要求10所述的方法, 还 包括:权 利 要 求 书 2/3 页
3
CN 115525625 A
3
专利 数据处理方法、装置、设备及介质
文档预览
中文文档
29 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共29页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-07 20:35:36上传分享