[發明專利]ETL腳本生成方法、裝置、存儲介質和設備

在審

• 申請號: 202211047024.3
• 申請日: 2022-08-30
• 公開（公告）號: CN115309811A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 郭志豪
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張東梅

本申請公開了一種ETL腳本生成方法、裝置、存儲介質和設備，應用于大數據領域，該方法為：獲取待處理數據表的元數據信息表以及環境參數；對元數據信息表進行解析，得到待處理數據表的開發參數；對環境參數進行解析，得到目標系統層級；從預先配置的系統參數中，獲取與目標系統層級對應的結構化查詢語言加工模板，標識為目標模板；將開發參數加載至目標模板的變量中，得到與待處理數據表對應的ETL腳本。該方法將開發參數加載至目標模板的變量中，得到與待處理數據表對應的ETL腳本，代替人工重新開發ETL腳本，有效減少ETL腳本的開發時間，以使ETL腳本的開發效率得到顯著提高。

技術領域

本申請涉及大數據領域，尤其涉及一種ETL腳本生成方法、裝置、存儲介質和設備。

背景技術

隨著數據倉庫(簡稱數倉)的不斷建設與發展，數倉中數據表的數量在不斷增加，ETL腳本的需求量也隨著數據表的增多而增多。現有的ETL腳本無法復用，為此，需要重新開發ETL腳本，ETL腳本的開發受限于人力因素，將會耗費不少時間，開發效率較低。

為此，如何提高ETL腳本的開發效率，成為本領域亟需解決的問題。

發明內容

本申請提供了一種ETL腳本生成方法、裝置、存儲介質和設備，目的在于提高ETL腳本的開發效率。

為了實現上述目的，本申請提供了以下技術方案：

一種ETL腳本生成方法，包括：

獲取待處理數據表的元數據信息表以及環境參數；

對所述元數據信息表進行解析，得到所述待處理數據表的開發參數；

對所述環境參數進行解析，得到目標系統層級；所述目標系統層級代表所述待處理數據表在數據倉庫中所處的系統層級；

從預先配置的系統參數中，獲取與所述目標系統層級對應的結構化查詢語言加工模板，標識為目標模板；所述結構化查詢語言加工模板包括生成ETL腳本所需的數據加工邏輯、SQL命令、變量；

將所述開發參數加載至所述目標模板的變量中，得到與所述待處理數據表對應的ETL腳本。

可選的，所示將所述開發參數加載至所述目標模板的變量中，得到與所述待處理數據表對應的ETL腳本之后，還包括：

從所述系統參數中獲取與所述目標系統層級對應的配置文件，標識為目標配置文件；所述配置文件包括公用配置信息；

讀取所述目標配置文件，得到目標公用配置信息；

將所述目標公用配置信息，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息，得到目標變量；

利用所述目標變量替換所述ETL腳本中的變量，得到目標處理邏輯；

利用所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中。

可選的，所述將所述目標公用配置信息，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息，得到目標變量，包括：

從所述系統參數中獲取與所述目標系統層級對應的算法文件，標識為目標算法文件；所述算法文件包括接口配置；

讀取所述目標算法文件，得到目標接口配置；

將所述目標公用配置信息以及所述目標接口配置，加載至預設的python進程中，以使所述python進程讀取所述目標公用配置信息以及所述目標接口配置，得到目標變量。

可選的，所述利用所述目標處理邏輯，將所述待處理數據表中的數據保存到所述數據倉庫中