[發明專利]一種支持ETL任務調度可視化的方法

有效

• 申請號: 201911213576.5
• 申請日: 2019-12-02
• 公開（公告）號: CN111082976B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 麥家健;羅挺;朱凌峰
• 申請（專利權）人: 東莞數匯大數據有限公司
• 主分類號: H04L41/0253
• 分類號: H04L41/0253;H04L41/22;H04L67/02;H04L67/00;H04L67/06
• 代理公司: 東莞卓為知識產權代理事務所(普通合伙) 44429
• 代理人: 何樹良

1.一種支持ETL任務調度可視化的方法，其特征在于，包括：

對ETL任務腳本文件校驗處理；

請求查詢ETL任務腳本內容，生成DAG數據返回，包括：

通過第一服務端接收客戶端查詢ETL任務腳本內容請求，并查詢文件地址；

根據查詢到的文件地址在第二服務端請求下載ETL任務腳本文件，并向第一服務端返回任務文件流；

在第一服務端讀取任務文件流，獲取ETL任務腳本內容并組裝成DAG數據結構；

返回客戶端DAG數據，在客戶端繪制任務DAG有向環形圖；

若接收ETL任務腳本文件修改請求，則解析ETL任務腳本文件，并修改ETL任務腳本文件內容，包括：

通過第一服務端接收客戶端發送的ETL任務腳本文件修改請求，并保存ETL任務腳本文件；

將原始的ETL任務腳本文件解析成XML文檔，并將修改的內容覆蓋原XML文檔的節點內容，保存成新的ETL任務腳本文件；

通過vsftp服務上傳新的ETL任務腳本文件至第二服務端覆蓋原文件保存；

配置動態執行觸發機制；

實時執行ETL任務請求，并實時顯示任務執行日志。

2.根據權利要求1所述的一種支持ETL任務調度可視化的方法，其特征在于，對ETL任務腳本文件校驗處理，包括：

在第一服務端獲取客戶端上傳的ETL任務腳本文件，其中ETL任務腳本文件為kjb文件；

校驗ETL任務腳本文件的內容合法性，包括檢查ETL任務腳本文件的后綴是否規范、能否以XML方式將ETL任務腳本文件讀取出來、檢查是否符合kettle腳本規范；

通過vsftp服務將ETL任務腳本文件傳送至第二服務端，并向客戶端返回上傳結果及文件地址。

3.根據權利要求1所述的一種支持ETL任務調度可視化的方法，其特征在于，配置動態執行觸發機制，包括：

通過ThreadPoolTaskScheduler調度器創建一個新的定時任務，并將定時任務信息保存在數據庫中；

到定時時間向第二服務端觸發調用carte接口的請求；

第二服務端返回任務執行日志流至第一服務端，第一服務端保存日志流信息到數據庫中。

4.根據權利要求1所述的一種支持ETL任務調度可視化的方法，其特征在于，執行ETL任務請求，并實時顯示任務執行日志，包括：

通過第一服務端獲取客戶端發送的執行ETL任務請求；

調用Rest http接口執行ETL任務請求，并監聽第二服務端carte服務的日志返回流至第一服務端；

第一服務端將日志流格式化組裝后返回客戶端，在客戶端實時顯示任務執行日志。

5.根據權利要求1-4任一項所述的一種支持ETL任務調度可視化的方法，其特征在于，第一服務端為應用調度服務端，第二服務端為kettle carte服務端。

6.一種計算機可讀存儲設備，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行以實現權利要求1至5任意一項所述的支持ETL任務調度可視化的方法。

7.一種移動終端，其特征在于，包括：

處理器，適于執行程序指令；

存儲設備，適于存儲程序指令，所述程序指令適于由處理器加載并執行以實現權利要求1至5任意一項所述的支持ETL任務調度可視化的方法。

8.一種支持ETL任務調度可視化的系統，其特征在于，包括服務器；

服務器包括處理器和存儲設備；

處理器，適于執行程序指令；

存儲設備，適于存儲程序指令，所述程序指令適于由處理器加載并執行以實現權利要求1至5任意一項所述的支持ETL任務調度可視化的方法。