[發明專利]一種數據湖更新處理方法、裝置、存儲介質及電子裝置

在審

• 申請號: 202111152903.8
• 申請日: 2021-09-29
• 公開（公告）號: CN113934706A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 陳世滿;解巧巧;張勇;田江;向小佳;丁永建;李璠
• 申請（專利權）人: 光大科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 張秀英

1.一種數據湖更新處理方法，其特征在于，包括：

從數據湖的變更信息列表中獲取待更新數據；

從所述數據湖的Git表中讀取所述待更新數據對應的master版本；

根據所述master版本生成變更腳本；

在所述數據湖中根據所述變更腳本對所述待更新數據進行更新。

2.根據權利要求1所述的方法，其特征在于，在從所述數據湖的Git表中讀取所述待更新數據對應的master版之前，所述方法還包括：

接收對生成變更腳本組件的觸控指令；

基于所述觸控指令，通過版本管理工具連接所述數據湖的Git表。

3.根據權利要求1所述的方法，其特征在于，根據所述master版本生成變更腳本包括：

獲取所述待更新數據的變更信息，其中，所述變更信息包括：表場景、變更類型、異常數據SQL條件、上線時間、變更原因；

根據所述變更信息生成對應的所述變更腳本；

通過壓縮包的方式保存所述變更腳本。

4.根據權利要求1至3中任一項所述的方法，其特征在于，在從數據湖的變更信息列表中獲取待更新數據之前，所述方法還包括：

將所述待更新數據的變更信息添加到所述變更信息列表中，其中，所述變更信息包括：表場景、變更類型、異常數據SQL條件、上線時間、變更原因。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

接收所述變更信息列表中變更信息的維護指令；

根據所述維護指令在所述變更信息列表中的變更信息進行維護；

根據所述變更信息列表中的變更信息的維護時間變更所述變更信息列表中的變更信息的排序。

6.根據權利要求5所述的方法，其特征在于，根據所述維護指令在所述變更信息列表中的變更信息進行維護包括以下至少之一：

根據添加指令新增所述變更信息列表中的變更信息；

根據變更指令變更所述變更信息列表中的變更信息；

根據刪除指令刪除所述變更信息列表中的變更信息；

其中，所述維護指令包括所述添加指令、所述變更指令、所述刪除指令。

7.一種數據湖更新處理裝置，其特征在于，包括：

獲取模塊，用于從數據湖的變更信息列表中獲取待更新數據；

讀取模塊，用于從所述數據湖的Git表中讀取所述待更新數據對應的master版本；

生成模塊，用于根據所述master版本生成變更腳本；

更新模塊，用于在所述數據湖中根據所述變更腳本對所述待更新數據進行更新。

8.根據權利要求7所述的裝置，其特征在于，所述裝置還包括：

第一接收模塊，用于接收對生成變更腳本組件的觸控指令；

連接模塊，用于基于所述觸控指令，通過版本管理工具連接所述數據湖的Git表。

9.一種計算機可讀的存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行所述權利要求1至6任一項中所述的方法。

10.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行所述權利要求1至6中任一項所述的方法。