[發明專利]一種增量數據一致性實現方法及裝置

有效

• 申請號: 201910244138.9
• 申請日: 2019-03-28
• 公開（公告）號: CN110046168B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 彭虎;傅尚強;劉洋;孫遷
• 申請（專利權）人: 南京蘇寧軟件技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張慧娟

1.一種增量數據一致性實現方法，其特征在于，包括：

初始化業務系統中具有關聯關系的各數據表的全部數據，加載至第一數據庫中以生成多個全量數據表；

基于所述業務系統的數據庫日志，將所述各數據表的實時數據分別同步至所述多個全量數據表中以及第二數據庫的多個增量數據表中，所述實時數據為所述各數據表中新增加或新修改的數據；

提取所述多個增量數據表中的所有的業務唯一標識，在所述第二數據庫中合并生成增量標識合并表；

根據所述增量標識合并表，查詢得到所述多個全量數據表中與所述增量標識合并表相關的業務數據，并對應寫入所述第二數據庫的一致性增量數據表中。

2.根據權利要求1所述的方法，其特征在于，所述基于所述業務系統的數據庫日志，將所述各數據表的實時數據分別同步至所述多個全量數據表中以及第二數據庫的多個增量數據表中，包括：

從所述業務系統的數據庫日志中解析出所述各數據表的實時數據，并同步至實時數據流中；

將所述實時數據流中的數據落地所述多個全量數據表中；以及

將所述實時數據流中的數據寫入所述多個增量數據表中。

3.根據權利要求1或2所述的方法，其特征在于，所述第一數據庫為KV數據庫，所述第二數據庫為Hive數據庫。

4.根據權利要求3所述的方法，其特征在于，所述根據所述增量標識合并表，查詢得到所述多個全量數據表中與所述增量標識合并表相關的業務數據，包括：

針對所述增量標識合并表的每一個訂單號，通過SQL查詢接口分別查詢所述多個全量數據表中匹配于所述訂單號的業務數據。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

接收數據回溯查詢指令，通過SQL查詢接口在所述第一數據庫中查詢與所述數據回溯查詢指令相關聯的業務數據，并返回數據回溯查詢結果。

6.一種增量數據一致性實現裝置，其特征在于，包括：

初始化模塊，用于初始化業務系統中具有關聯關系的各數據表的全部數據，加載至第一數據庫中以生成多個全量數據表；

實時同步模塊，用于基于所述業務系統的數據庫日志，將所述各數據表的實時數據分別同步至所述多個全量數據表中以及第二數據庫的多個增量數據表中，所述實時數據為所述各數據表中新增加或新修改的數據；

標識合并模塊，用于提取所述多個增量數據表中的所有的業務唯一標識，在所述第二數據庫中合并生成增量標識合并表；

查詢模塊，用于根據所述增量標識合并表，查詢得到所述多個全量數據表中與所述增量標識合并表相關的業務數據；

寫入模塊，用于將與所述增量標識合并表相關的業務數據對應寫入所述第二數據庫的一致性增量數據表中。

7.根據權利要求6所述的裝置，其特征在于，所述實時同步模塊具體用于：

從所述業務系統的數據庫日志中解析出所述各數據表的實時數據，并同步至實時數據流中；

將所述實時數據流中的數據落地所述多個全量數據表中；以及

將所述實時數據流中的數據寫入所述多個增量數據表中。

8.根據權利要求6或7所述的裝置，其特征在于，所述第一數據庫為KV數據庫，所述第二數據庫為Hive數據庫。

9.根據權利要求8所述的裝置，其特征在于，所述查詢模塊具體用于：

針對所述增量標識合并表的每一個訂單號，通過SQL查詢接口分別查詢所述多個全量數據表中匹配于所述訂單號的業務數據。

10.根據權利要求8所述的裝置，其特征在于，所述查詢模塊還用于：

接收數據回溯查詢指令，通過SQL查詢接口在所述第一數據庫中查詢與所述數據回溯查詢指令相關聯的業務數據，并返回數據回溯查詢結果。