[發明專利]ETL腳本生成方法、裝置、存儲介質和設備

在審

• 申請號: 202211047024.3
• 申請日: 2022-08-30
• 公開（公告）號: CN115309811A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 郭志豪
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張東梅

1.一種ETL腳本生成方法，其特征在于，包括：

獲取待處理數據表的元數據信息表以及環境參數；

對所述元數據信息表進行解析，得到所述待處理數據表的開發參數；

對所述環境參數進行解析，得到目標系統層級；所述目標系統層級代表所述待處理數據表在數據倉庫中所處的系統層級；

從預先配置的系統參數中，獲取與所述目標系統層級對應的結構化查詢語言加工模板，標識為目標模板；所述結構化查詢語言加工模板包括生成ETL腳本所需的數據加工邏輯、SQL命令、變量；

將所述開發參數加載至所述目標模板的變量中，得到與所述待處理數據表對應的ETL腳本。

2.根據權利要求1所述的方法，其特征在于，所示將所述開發參數加載至所述目標模板的變量中，得到與所述待處理數據表對應的ETL腳本之后，還包括：

從所述系統參數中獲取與所述目標系統層級對應的配置文件，標識為目標配置文件；所述配置文件包括公用配置信息；

讀取所述目標配置文件，得到目標公用配置信息；

將所述目標公用配置信息，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息，得到目標變量；

利用所述目標變量替換所述ETL腳本中的變量，得到目標處理邏輯；

利用所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中。

3.根據權利要求2所述的方法，其特征在于，所述將所述目標公用配置信息，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息，得到目標變量，包括：

從所述系統參數中獲取與所述目標系統層級對應的算法文件，標識為目標算法文件；所述算法文件包括接口配置；

讀取所述目標算法文件，得到目標接口配置；

將所述目標公用配置信息以及所述目標接口配置，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息以及所述目標接口配置，得到目標變量。

4.根據權利要求2所述的方法，其特征在于，所述利用所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中

調用所述python進程將所述目標處理邏輯提交到所述數據倉庫中，以使所述數據倉庫運行所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中。

5.一種ETL腳本生成裝置，其特征在于，包括：

獲取單元，用于獲取待處理數據表的元數據信息表以及環境參數；

表解析單元，用于對所述元數據信息表進行解析，得到所述待處理數據表的開發參數；

參數解析單元，用于對所述環境參數進行解析，得到目標系統層級；所述目標系統層級代表所述待處理數據表在數據倉庫中所處的系統層級；

模板獲取單元，用于從預先配置的系統參數中，獲取與所述目標系統層級對應的結構化查詢語言加工模板，標識為目標模板；所述結構化查詢語言加工模板包括生成ETL腳本所需的數據加工邏輯、SQL命令、變量；

參數加載單元，用于將所述開發參數加載至所述目標模板的變量中，得到與所述待處理數據表對應的ETL腳本。

6.根據權利要求5所述的裝置，其特征在于，還包括腳本執行單元；

所述腳本執行單元，用于：從所述系統參數中獲取與所述目標系統層級對應的配置文件，標識為目標配置文件；所述配置文件包括公用配置信息；讀取所述目標配置文件，得到目標公用配置信息；將所述目標公用配置信息，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息，得到目標變量；利用所述目標變量替換所述ETL腳本中的變量，得到目標處理邏輯；利用所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中。