[發明專利]一種解決大數據系統中歷史數據變化的方法

在審

• 申請號: 202110675041.0
• 申請日: 2021-06-18
• 公開（公告）號: CN113342834A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張春劍;吳凱;潘自濱;劉水軍
• 申請（專利權）人: 青島全掌柜科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 郝雅娟

1.一種解決大數據系統中歷史數據變化的方法，其特征在于，包括如下步驟：

(1)業務數據全部存儲在mysql數據庫，每張業務表都設置有更新時間字段，用于標注字段的更新時間，只要業務系統更新數據庫表格，對應數據條目的更新時間字段就會修改成當時的時間；

(2)操作型數據存儲ODS層數據表每天凌晨執行一次任務，首先檢查所有業務表的更新時間字段，若更新時間是落在前一天，則將業務表數據一模一樣拷貝一份，生成一條操作型數據存儲ODS層數據，因此操作型數據存儲ODS層數據表中存儲的相當于是原業務數據庫每條數據的歷史版本；

(3)生成拉鏈表任務在操作型數據存儲ODS層數據表任務執行完成后開始，通過spark大數據計算引擎任務，拉鏈表模塊檢查所有操作型數據存儲ODS層數據最新的一條記錄與各自對應的上一時間的記錄進行對比，若最新的記錄與各自對應的上一時間的記錄有變化，則將ODS層數據表該天有變化這一事件記錄到變化通知表；

(4)拉鏈表任務結束后，執行生成業務日表的任務；該任務檢查變化通知表，根據變化的表以及變化的日期，執行相應的任務單元，從而刷新之前生成的業務日表數據。

2.如權利要求1所述的一種解決大數據系統中歷史數據變化的方法，其特征在于，步驟(2)中，操作型數據存儲ODS層數據存儲在Hive數據庫中。

3.如權利要求1所述的一種解決大數據系統中歷史數據變化的方法，其特征在于，步驟(4)中，生成業務日表，適用于后續業務查詢維度包括“天、月、年”的各種維度，按日表記錄，就可以對上層前端展示提供靈活的支持。