[發明專利]高時效的數據加載入數據湖的方法及系統

有效

• 申請號: 202010165368.9
• 申請日: 2020-03-11
• 公開（公告）號: CN111367984B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 王能;袁一;翁曉俊;王之樂
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/182;G06F16/178
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;湯在彥

本發明公開了一種高時效的數據加載入數據湖的方法及系統，該方法包括：通過數據庫復制工具將數據庫源表的數據變更記錄同步到Kafka消息隊列；高時效入湖服務系統根據數據湖注冊的源表登記信息從所述Kafka消息隊列加載所述數據變更記錄到分布式文件系統(HDFS)，按照時間段分割成若干個時間分區并確定最大可用分區；將所述最大可用分區載入到臨時增量表中，所述數據湖訪問所述高時效入湖服務系統獲取最大可用分區信息，進而從所述臨時增量表中加載所述最大可用分區到本地的存量表中。本發明提供了一種快速將貼源數據復制加載入數據湖的方法。

技術領域

本發明涉及大數據領域，具體而言，涉及一種高時效的數據加載入數據湖的方法及系統。

背景技術

傳統的批量數據交換與加工體系中，采用日終數據加載的方式，將貼源數據導出到指定文件，之后調起批量作業將數據導入數據湖Hive存量表中，這種方式數據時效為T+1天。

隨著關鍵性業務場景中對數據加工處理的時效性越來越高，傳統的批量數據交換及加工的體系已難以滿足一些重要業務場景中時效性的需求。因此需要進一步加強高時效數據交換與傳輸體系的建設，以更好滿足業務上對數據時效性的要求，建設高時效的貼源數據準實時入湖體系，為數據入湖提供便捷、高效的傳輸通道。

發明內容

本發明為了解決上述背景技術中的至少一個技術問題，提出了一種高時效的數據加載入數據湖的方法及系統。

為了實現上述目的，根據本發明的一個方面，提供了一種高時效的數據加載入數據湖的方法，該方法包括：

通過數據庫復制工具將數據庫源表的數據變更記錄同步到Kafka消息隊列；

高時效入湖服務系統根據數據湖注冊的源表登記信息從所述Kafka消息隊列加載所述數據變更記錄到分布式文件系統(HDFS)，按照時間段分割成若干個時間分區并確定最大可用分區；

將所述最大可用分區載入到臨時增量表中；

所述數據湖訪問所述高時效入湖服務系統獲取最大可用分區信息，進而從所述臨時增量表中加載所述最大可用分區到本地的存量表中。

可選的，該高時效的數據加載入數據湖的方法還包括：

在所述高時效入湖服務系統服務中斷重新啟動后，刪除當前最大可用分區的下一個時間分區之后的所有時間分區；

將當前最大可用分區的下一個時間分區中除去文件名中的位移值最小的文件外的其他所有文件刪除，并清空所述文件名中的位移值最小的文件；

將所述Kafka消息隊列的消費位點回退到所述文件名中的位移值最小的文件的位移值，并根據所述文件名中的位移值最小的文件消費所述Kafka消息隊列中的數據。

可選的，該高時效的數據加載入數據湖的方法還包括：

若從Kafka消息隊列獲取的數據變更記錄的時間字段屬于當前時間分區，則將該數據變更記錄寫入當前時間分區；

若從Kafka消息隊列獲取的數據變更記錄的時間字段大于當前時間分區的右邊界，則將該數據變更記錄寫入當前時間分區的下一個時間分區；

若從Kafka消息隊列獲取的數據變更記錄的時間字段小于當前時間分區的左邊界并且該時間字段所屬的時間分區小于或等于最大可用分區，則將該數據變更記錄寫入預設的錯誤文件；

若從Kafka消息隊列獲取的數據變更記錄的時間字段小于當前時間分區的左邊界并且該時間字段所屬的時間分區大于最大可用分區，則將該數據變更記錄寫入該時間字段所屬的時間分區。

可選的，將數據變更記錄寫入時間分區，具體包括：

獲取數據變更記錄在Kafka消息隊列中的位移值；