(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210043391.X (22)申请日 2022.01.14 (71)申请人 平安壹钱包电子商务有限公司 地址 518000 广东省深圳市福田区福田街 道福华路319号兆邦基金融大厦26层 2606单元 (72)发明人 罗开畅　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 代理人 谭果林 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/28(2019.01) (54)发明名称 增量数据实时同步的方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明涉及人工智能技术， 提供一种增量数 据实时同步的方法， 将利用工 具解析的Oracle数 据表中的日志得到的JSON报文存储至分布式消 息队列； 实现了增量数据从Oracle数据表 到大数 据环境的同步基础， 并将分布式消息队列中的所 述JSON报文存储至HBase， 得到HBase数据表； 可 以根据HBase数据表与预先得到的HBase中的 Oracle镜像表， 记录变 更行键； 根据变 更行键， 从 HBase数据库中， 还原一行数据的全部字 段数据， 完善了数据库更新时的数据， 并将全部字段数据 存储至数据仓库中， 得到增量数据仓库的增量数 据； 将增量数据与历史数据进行合并处理， 得到 实时更新的数据仓库数据， 实时的更新与抽取 Oracle库中的数据， 减小了对Oracle库的资源占 用， 并节约了数据仓库中数据更新的时间。 权利要求书2页 说明书9页 附图3页 CN 114385760 A 2022.04.22 CN 114385760 A 1.一种增量数据实时同步的方法， 其特 征在于， 包括： 将利用工具解析的Oracle数据表中的日志得到的JS ON报文存储至分布式消息队列； 其 中， JSON报文用于表征 数据库的变更事 件； 基于预先设置的第一计算引擎， 将分布式消息队列中的所述JS ON报文存储至HBase， 得 到HBase数据表； 根据所述HBase数据表与预先得到的HBase中的Oracle镜像表， 通过HBase操作处理， 记 录HBase数据表中的变更 行键； 基于预先设置的第二计算引擎， 根据所述变更行键， 还原变更行键对应的一行数据的 全部字段数据， 并将全部 字段数据存储至数据仓库中， 得到增量数据； 利用调度任务， 将所述增量数据与数据仓库中的历史数据进行合并处理， 在数据仓库 中得到实时更新的数据。 2.如权利要求1所述的增量数据实时同步的方法， 其特征在于， 所述将利用工具解析的 Oracle数据表中的日志得到的JSON报文存 储至分布式消息队列， 包括： 将Oracle 数据表中的日志发送至预 先设置的存 储系统存 储， 得到目标日志； 利用工具解析目标日志， 得到的JSON报文， 将的JSON报文存 储至分布式消息队列。 3.如权利要求1所述的增量数据实时同步的方法， 其特征在于， 所述基于预先设置的第 一计算引擎， 将分布式消息队列中的所述JSON报文存 储至HBase， 得到 HBase数据表， 包括： 通过对预先设置的第一计算引擎程序中的接口进行声明和赋值， 得到与HBase中对应 的接口； 通过所述HBase中对应 的接口， 将分布式消息队列 中的所述JSON报文存储至HBase， 得 到HBase数据表。 4.如权利要求3所述的增量数据实时同步的方法， 其特征在于， 所述通过所述HBase中 对应的接口， 将分布式消息队列中的所述JSON报文存 储至HBase， 得到 HBase数据表， 包括： 根据预先新建的消费者， 将所述JSON报文发送至所述消费者中对应的区域中， 得到消 费数据； 通过所述HBase中对应的接口， 将所述消费数据存 储至HBase， 得到 HBase数据表。 5.如权利要求1所述的增量数据实时同步的方法， 其特征在于， 所述基于预先设置的第 一计算引擎， 将分布式消息队列中的所述JSON报文存储至HBase， 得到HBase数据表之后， 还 包括： 根据HBase 数据表中的分区数量， 确定 HBase数据表对应的行键 字段。 6.如权利要求1所述的增量数据实时同步的方法， 其特征在于， 所述根据所述HBase数 据表与预先得到的HBase中的Oracle镜像表， 通过HBase操作处理， 记录HBase数据表中的变 更行键之前， 还 包括： 利用工具， 将Oracle表中的数据， 以数据仓库中数据表的形式储 存至集群； 基于预先设置的第 二计算引擎开发批计算程序， 将集群中数据仓库中数据表中的数据 转换为HBase底层储 存的二进制文件； 通过数据加载的方式， 将所述二进制文件加载至HBase中， 得到HBase中的Oracle镜像 表。 7.如权利要求1所述的增量数据实时同步的方法， 其特征在于， 所述利用调度任务， 将权　利　要　求　书 1/2 页 2 CN 114385760 A 2所述增量数据与数据仓库中的历史数据进 行合并处理， 在数据仓库中得到实时更新的数据 之前， 还包括： 利用定时调度工具， 设置合并调度任务。 8.一种增量数据实时同步的方法装置， 其特 征在于， 解析单元： 将利用工具解析的Oracle数据表中的日志得到的JS ON报文存储至分布式消 息队列； 其中， JSON报文用于表征 数据库的变更事 件； 存储单元： 基于预先设置的第一计算引擎， 将分布式消息队列中的所述JSON报文存储 至HBase， 得到 HBase数据表； 变更单元： 根据所述HBase数据表与预先得到的HBase中 的Oracle镜像表， 通过HBase操 作处理， 记录HBase数据表中的变更 行键； 还原单元： 基于预先设置的第 二计算引擎， 根据 所述变更行键， 还原变更行键对应的一 行数据的全部 字段数据， 并将全部 字段数据存储至数据仓库中， 得到增量数据； 合并单元： 利用调度任务， 将所述增量数据与数据仓库中的历史数据进行合并处理， 在 数据仓库中得到实时更新的数据。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机可读指 令， 其特征在于， 所述计算机可读指 令为权利要求 1‑7任意一项 所述 的引擎生成的可读指令 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机指 令， 该计算机指令用于使该计算机执 行前述任一权利要求1 ‑7所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114385760 A 3