[發明專利]一種增量數據一致性實現方法及裝置

有效

• 申請號: 201910244138.9
• 申請日: 2019-03-28
• 公開（公告）號: CN110046168B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 彭虎;傅尚強;劉洋;孫遷
• 申請（專利權）人: 南京蘇寧軟件技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張慧娟

本發明公開了一種增量數據一致性實現方法及裝置，屬于數據倉庫技術領域，方法包括：初始化業務系統中具有關聯關系的各數據表的全部數據，加載至第一數據庫中以生成多個全量數據表；基于業務數據庫的日志，將各數據表的實時數據分別同步至多個全量數據表中以及第二數據庫的多個增量數據表中；提取多個增量數據表中的所有的業務唯一標識，在第二數據庫中合并生成增量標識合并表；根據增量標識合并表，查詢得到多個全量數據表中與增量標識合并表相關的業務數據，并對應寫入第二數據庫的一致性增量數據表中。本發明實施例在增量數據一致性的實現過程中對業務數據庫的正常運行基本無影響，且對數據庫資源損耗較小。

技術領域

本發明涉及數據倉庫技術領域，尤其涉及一種增量數據一致性實現方法及裝置。

背景技術

大數據數據倉庫構建ODS(Operational Data Store,操作數據存儲)負責關系數據表，需要構建一致性增量數據表，以確保具有關聯關系的各數據表之間的增量數據保持一致。以零售交易訂單進行舉例，訂單頭表與各訂單子表之間的一致性增量數據表能夠保證變化單號在每個訂單增量數據表中都存在，不會出現一個變化單號在某些表中存在，而在某些表中不存在，導致產生增量表數據無法關聯的問題。

現在技術中，一般會采取如下方法來實現增量數據的一致性：

方法一：增量獲取業務系統中的訂單頭表和各子表數據到大數據平臺的增量數據表中，再使用hive/spark生成對應的全量數據表，根據增量數據表生成完整變化單號，去暴力匹配各表，最終生成各表的一致性增量數據表。

方法二：增量獲取業務系統訂單頭表和各子表的單號數據到業務系統的單號變化中間表中，根據單號變化中間表中的單號到業務系統通過數據庫索引獲取頭表和各子表對應單號的業務數據到數據倉庫的一致性增量數據表中。

以上兩種方案實現簡單，但存在的一定缺陷和不足：

針對方法一：Hive生成全量數據表，需要全量讀寫全量訂單數據，假設100億訂單，每天訂單增量200萬，更新200萬數據每次需要讀寫100億數據，生成一致性增量數據表需要再次全量讀取全量數據表，對全量數據表兩次全量讀取和一次全量寫，大數據平臺資源損耗大，效率低。

針對方法二：需要業務系統創建單號變化中間表，并對此表有寫權限，兩次讀取業務系統表數據，依賴業務系統數據表索引使用，整個過程對業務系統具有較大的依賴，并且抽取過程可能會產生數據庫鎖，特別大促期間系統降級，直接導致數據無法抽取，整個大數據計算因為數據無法抽取而停滯，導致分析數據無法正常按時生產。

此外，基于Hive的數據倉庫無法支持單號索引查詢，對訂單回溯場景無法支持，比如售后客服等業務分析場景，需要關聯業務對應的訂單數據，對應訂單時間范圍較廣不太確定，可能1個月內或超過1年，由于Hive表基本無索引能力，這類業務分析的基于Hive表實現較困難。

發明內容

本發明旨在至少解決現有技術或相關技術中存在的技術問題之一，為此本發明提供一種增量數據一致性實現方法及裝置。

本發明實施例提供的具體技術方案如下：

第一方面，本發明提供了一種增量數據一致性實現方法，包括：

初始化業務系統中具有關聯關系的各數據表的全部數據，加載至第一數據庫中以生成多個全量數據表；

基于所述業務系統的數據庫日志，將所述各數據表的實時數據分別同步至所述多個全量數據表中以及第二數據庫的多個增量數據表中；

提取所述多個增量數據表中的所有的業務唯一標識，在所述第二數據庫中合并生成增量標識合并表；

根據所述增量標識合并表，查詢得到所述多個全量數據表中與所述增量標識合并表相關的業務數據，并對應寫入所述第二數據庫的一致性增量數據表中。