[發明專利]數據存儲方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011623375.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112699126A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 黃世博;史忠偉;陳宇
• 申請（專利權）人: 五八有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27;G06F16/28
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 郭放;許偉群

本申請公開了數據存儲方法、裝置、電子設備及存儲介質，該方法定期獲取當日增量數據和預先創建的拉鏈表，拉鏈表中存儲有前日全量數據，前日全量數據中的每條數據具有閉鏈時間。然后確定前日全量數據中的第一數據，在拉鏈表中將第一數據的閉鏈時間修改為預設時間，其中，第一數據的數據ID同時包含在當日增量數據和前日全量數據中，一個數據ID用于標識與同一條源數據對應的數據。再將當日增量數據存儲到拉鏈表中，在拉鏈表中，當日增量數據中的每條數據的閉鏈時間為預設時間，預設時間晚于當前時間。本申請提供的數據存儲方法，基于拉鏈表對數據進行離線表存儲，存儲后的數據可以同時滿足查詢最新快照數據和歷史快照數據的需求。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據存儲方法、裝置、電子設備及存儲介質。

背景技術

大數據技術要求將各類平臺上每天都會產生大量的數據存儲到數據倉庫中。離線存儲是應用在數據倉庫的一種數據存儲方式。目前，在數據倉庫中離線存儲數據的方式主要有兩種，其一是存儲最新增量數據的事實表，其二是存儲最新全量數據的事實表。

然而，這兩種數據存儲方法都無法滿足查詢歷史快照數據和最新快照數據的需求，前者數據冗余，數據量過大，無法查詢快照數據，后者只能查詢最新快照數據，而無法查詢歷史快照數據。

發明內容

本申請提供數據存儲方法即裝置，解決現有數據存儲方法中，無法兼顧查詢歷史快照數據和最新快照數據。

第一方面，本申請提供一種數據存儲方法，所述方法包括：

獲取當日增量數據和預先創建的拉鏈表，所述拉鏈表中存儲有前日全量數據，所述前日全量數據中的每條數據具有閉鏈時間；

確定所述前日全量數據中的第一數據，在所述拉鏈表中將所述第一數據的閉鏈時間修改為預設時間，其中，所述第一數據的數據ID同時包含在所述當日增量數據和所述前日全量數據中，一個數據ID用于標識與同一條源數據對應的數據；

以及，將所述當日增量數據存儲到所述拉鏈表中，在所述拉鏈表中，所述當日增量數據中的每條數據的閉鏈時間為預設時間，所述預設時間晚于所述當前時間。

進一步，所述方法還包括：獲取當日全量數據；

確定所述前日全量數據中的第二數據，在所述拉鏈表中將所述第二數據的閉鏈時間修改為當前時間，其中，所述第二數據的數據ID包含在所述前日全量數據中，不包含在所述當日全量數據中。

進一步，所述拉鏈表中的每條數據還具有數據狀態標識；所述方法還包括：在所述拉鏈表中將所述第二數據的數據狀態標識由有效標識修改為無效標識。

進一步，所述方法還包括：將所述拉鏈表中閉鏈時間為當日的數據，同步到歷史快照拉鏈表中；和/或，將所述拉鏈表中閉鏈時間為預設時間的數據，同步到最新快照拉鏈表中。

第二方面，本申請還提供一種數據存儲裝置，所述裝置包括：

數據獲取模塊，獲取當日增量數據和預先創建的拉鏈表，所述拉鏈表中存儲有前日全量數據，所述前日全量數據中的每條數據具有閉鏈時間；

第一存儲模塊，將確定所述前日全量數據中的第一數據，在所述拉鏈表中將所述第一數據的閉鏈時間修改為預設時間，其中，所述第一數據的數據ID同時包含在所述當日增量數據和所述前日全量數據中，一個數據ID用于標識與同一條源數據對應的數據；

第二存儲模塊，用于將所述當日增量數據存儲到所述拉鏈表中，在所述拉鏈表中，所述當日增量數據中的每條數據的閉鏈時間為預設時間，所述預設時間晚于所述當前時間。

進一步，所述數據獲取模塊，還用于獲取當日全量數據；