[發明專利]一種數據湖更新處理方法、裝置、存儲介質及電子裝置

在審

• 申請號: 202111152903.8
• 申請日: 2021-09-29
• 公開（公告）號: CN113934706A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 陳世滿;解巧巧;張勇;田江;向小佳;丁永建;李璠
• 申請（專利權）人: 光大科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 張秀英

本發明提供了一種數據湖更新處理方法、裝置、存儲介質及電子裝置，其中，該方法包括：從數據湖的變更信息列表中獲取待更新數據；從該數據湖的Git表中讀取該待更新數據對應的master版本；根據該master版本生成變更腳本；在該數據湖中根據該變更腳本對該待更新數據進行更新，可以解決相關技術中對于數據湖的數據變更，開發人員依據變更郵件，進行變更腳本開發，開發效率較低，且頻繁變更版本管理困難的問題，將變更信息在系統內登記，由系統依據變更信息，自動生成變更腳本，減少人工開發過程，并將變更管理標準化、流程化、系統化。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據湖更新處理方法、裝置、存儲介質及電子裝置。

背景技術

隨著數據湖項目的建設，與數據湖對接的源系統逐漸增多，每月少則幾百，多則上千的表不斷接入數據湖。同時，源系統可能因業務發展或其他原因，引起表結構或表數據的變更。為保持數據一致，數據湖需要隨源系統同步變更，并將變更通知到下游系統。

數據湖的數據變更，主要是開發人員依據變更郵件，進行變更腳本開發。每個開發人員有自己的開發風格，代碼風格多樣，代碼可讀性較差，且易出錯，不利于后期維護。數據變更場景主要有異常數據刪除及數據補錄。相同場景的表，變更步驟基本一致，變更腳本手動開發存在大量重復工作，開發效率較低。依據郵件實施變更，缺少系統留痕，變更歷史不便于后期追溯。對于頻繁變更的表，版本管理困難，易造成版本混亂。

針對相關技術中對于數據湖的數據變更，開發人員依據變更郵件，進行變更腳本開發，開發效率較低，且頻繁變更版本管理困難的問題，尚未提出解決方案。

發明內容

本發明實施例提供了一種數據湖更新處理方法、裝置、存儲介質及電子裝置，以至少解決相關技術中對于數據湖的數據變更，開發人員依據變更郵件，進行變更腳本開發，開發效率較低，且頻繁變更版本管理困難的問題。

根據本發明的一個實施例，提供了一種數據湖更新處理方法，包括：

從數據湖的變更信息列表中獲取待更新數據；

從所述數據湖的Git表中讀取所述待更新數據對應的master版本；

根據所述master版本生成變更腳本；

在所述數據湖中根據所述變更腳本對所述待更新數據進行更新。

可選地，在從所述數據湖的Git表中讀取所述待更新數據對應的master版之前，所述方法還包括：

接收對生成變更腳本組件的觸控指令；

基于所述觸控指令，通過版本管理工具連接所述數據湖的Git表。

可選地，根據所述master版本生成變更腳本包括：

獲取所述待更新數據的變更信息，其中，所述變更信息包括：表場景、變更類型、異常數據SQL條件、上線時間、變更原因；

根據所述變更信息生成對應的所述變更腳本；

通過壓縮包的方式保存所述變更腳本。

可選地，在從數據湖的變更信息列表中獲取待更新數據之前，所述方法還包括：

將所述待更新數據的變更信息添加到所述變更信息列表中，其中，所述變更信息包括：表場景、變更類型、異常數據SQL條件、上線時間、變更原因。

可選地，所述方法還包括：

接收所述變更信息列表中變更信息的維護指令；

根據所述維護指令在所述變更信息列表中的變更信息進行維護；

根據所述變更信息列表中的變更信息的維護時間變更所述變更信息列表中的變更信息的排序。