[發明專利]數據倉庫、數據更新和調用方法、裝置及設備

在審

• 申請號: 201910880235.7
• 申請日: 2019-09-18
• 公開（公告）號: CN110633332A
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 高元勝;劉少偉;陳璇;徐嘉亮;徐唐;沈仁奎;鄧鑫鑫
• 申請（專利權）人: 北京思維造物信息科技股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/23;G06F16/22
• 代理公司: 11623 北京晉德允升知識產權代理有限公司
• 代理人: 王戈

本說明書實施例公開了數據倉庫、數據更新和調用方法、裝置及設備。所述數據倉庫包括：原始素材層、鏡像層、應用視圖層，所述原始素材層用于獲取并存儲原始數據，所述原始數據源于業務數據庫的業務日志表，所述鏡像層用于從所述原始素材層獲取所述原始數據，并對所述原始數據進行合并并分主題存儲，所述應用視圖層用于存儲所述鏡像層的主題名稱，并調用所述鏡像層中的數據用于輸出，其中，各所述主題名稱與所述鏡像層內存儲的數據建立定向關系。本方案提供的數據倉庫在Hive的基礎上增加了鏡像層，因此可以對數據進行添加、更新或刪除等數據合并的操作，然后將合并后的數據存儲到鏡像層，這樣能更好的支持MySQL發生的update/delete的數據。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據倉庫、數據更新和調用方法、裝置及設備。

背景技術

現有技術中，Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行。現有的數據倉庫采用Hive的比較多，但是Hive是一種底層封裝了Hadoop的數據倉庫處理工具，使用類SQL的HiveQL語言實現數據查詢，所有Hive的數據都存儲在Hadoop兼容的文件系統(例如，Amazon S3、HDFS)中。Hive在加載數據過程中不會對數據進行任何的修改，只是將數據移動到HDFS中Hive設定的目錄下，因此，Hive不支持對數據的改寫和添加。因此，Hive對于數據源MySQL發生的update/delete的數據無法很好地進行支持。

發明內容

有鑒于此，本說明書實施例提供了一種數據倉庫、數據更新和調用方法、裝置及設備，用于提高數據倉庫的對數據變更的適配度。

為解決上述技術問題，本說明書實施例是這樣實現的：

一種數據倉庫，其特征在于，所述數據倉庫包括：原始素材層、鏡像層、應用視圖層，所述原始素材層用于獲取并存儲原始數據，所述原始數據源于業務數據庫的業務日志表，所述鏡像層用于從所述原始素材層獲取所述原始數據，并對所述原始數據進行合并并分主題存儲，所述應用視圖層用于存儲所述鏡像層的主題名稱，并調用所述鏡像層中的數據用于輸出，其中，各所述主題名稱與所述鏡像層內存儲的數據建立定向關系。

本說明書實施例提供的一種數據更新方法，包括：

監測原始素材層的新增數據，所述新增數據來自業務數據庫的業務日志表；

當監測到所述新增數據時，獲取所述新增數據；

確定所述新增數據的數據變更類型和主題名稱；

從鏡像層中調取所述主題名稱對應的原始數據表；

根據所述數據變更類型將所述新增數據與所述原始數據表中的數據進行合并，得到更新后的數據表；

將所述更新后的數據表按照更新時間存儲在鏡像層中，所述鏡像層中的數據表表示用戶的屬性信息和操作信息。

本說明書實施例提供的一種數據調用方法，包括：

接收數據調用請求；

確定所述數據調用請求的主題名稱；

根據所述主題名稱去鏡像層調用所述主題名稱對應的存儲數據；

將所述存儲數據發送至所述數據調用請求的發起方設備。

本說明書實施例提供的一種數據更新裝置，包括：

新增數據檢測模塊，用于監測原始素材層的新增數據，所述新增數據來自業務數據庫的業務日志表；

新增數據獲取模塊，用于當監測到所述新增數據時，獲取所述新增數據；