[發(fā)明專利]一種支持ETL任務(wù)調(diào)度可視化的方法

有效

• 申請?zhí)枺?/td>: 201911213576.5
• 申請日: 2019-12-02
• 公開（公告）號: CN111082976B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 麥家健;羅挺;朱凌峰
• 申請（專利權(quán)）人: 東莞數(shù)匯大數(shù)據(jù)有限公司
• 主分類號: H04L41/0253
• 分類號: H04L41/0253;H04L41/22;H04L67/02;H04L67/00;H04L67/06
• 代理公司: 東莞卓為知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44429
• 代理人: 何樹良

本發(fā)明涉及服務(wù)端開發(fā)技術(shù)領(lǐng)域，具體涉及一種支持ETL任務(wù)調(diào)度可視化的方法，對ETL任務(wù)腳本文件校驗處理；請求查詢ETL任務(wù)腳本內(nèi)容，生成DAG數(shù)據(jù)返回；若接收ETL任務(wù)腳本文件修改請求，則解析ETL任務(wù)腳本文件，并修改ETL任務(wù)腳本文件內(nèi)容；配置動態(tài)執(zhí)行觸發(fā)機制；實時執(zhí)行ETL任務(wù)請求，并實時顯示任務(wù)執(zhí)行日志，本發(fā)明可以在不修改和應(yīng)用ETL carte應(yīng)用的情況下，實現(xiàn)任務(wù)可視化、上傳或修改ETL任務(wù)腳本以及動態(tài)執(zhí)行任務(wù)，使得運維人員可直接通過web界面掌控掌控ETL任務(wù)腳本的運行狀態(tài)和運行結(jié)果，提升了業(yè)務(wù)的穩(wěn)定性和擴展性。

技術(shù)領(lǐng)域

本發(fā)明涉及前端開發(fā)技術(shù)領(lǐng)域，具體涉及一種支持ETL任務(wù)調(diào)度可視化的方法。

背景技術(shù)

Carte是一個輕量級的web服務(wù)，允許遠程請求HTTP進行監(jiān)控、啟動、停止在Carte服務(wù)上運行的ETLjob和trans。但是Carte也存在一些弊端，比如Carte沒有提供任務(wù)可視化界面，不便于查看ETL任務(wù)腳本的執(zhí)行細節(jié)內(nèi)容，并且ETL原生的定時任務(wù)機制缺乏靈活性，不能配置任務(wù)動態(tài)執(zhí)行的策略，從而導(dǎo)致不能滿足實際業(yè)務(wù)開發(fā)需求。

因此，行業(yè)內(nèi)亟需一種能解決上述問題的方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足而提供一種支持ETL任務(wù)調(diào)度可視化的方法。本發(fā)明的目的可以通過如下所述技術(shù)方案來實現(xiàn)。

一種支持ETL任務(wù)調(diào)度可視化的方法，包括：

對ETL任務(wù)腳本文件校驗處理；

請求查詢ETL任務(wù)腳本內(nèi)容，生成DAG數(shù)據(jù)返回，包括：

通過第一服務(wù)端接收客戶端查詢ETL任務(wù)腳本內(nèi)容請求，并查詢文件地址；

根據(jù)查詢到的文件地址在第二服務(wù)端請求下載ETL任務(wù)腳本文件，并向第一服務(wù)端返回任務(wù)文件流；

在第一服務(wù)端讀取任務(wù)文件流，獲取ETL任務(wù)腳本內(nèi)容并組裝成DAG數(shù)據(jù)結(jié)構(gòu)；

返回客戶端DAG數(shù)據(jù)，在客戶端繪制任務(wù)DAG有向環(huán)形圖；

若接收ETL任務(wù)腳本文件修改請求，則解析ETL任務(wù)腳本文件，并修改ETL任務(wù)腳本文件內(nèi)容，包括：

通過第一服務(wù)端接收客戶端發(fā)送的ETL任務(wù)腳本文件修改請求，并保存ETL任務(wù)腳本文件；

將原始的ETL任務(wù)腳本文件解析成XML文檔，并將修改的內(nèi)容覆蓋原XML文檔的節(jié)點內(nèi)容，保存成新的ETL任務(wù)腳本文件；

通過vsftp服務(wù)上傳新的ETL任務(wù)腳本文件至第二服務(wù)端覆蓋原文件保存；

配置動態(tài)執(zhí)行觸發(fā)機制；

實時執(zhí)行ETL任務(wù)請求，并實時顯示任務(wù)執(zhí)行日志。

進一步地，對ETL任務(wù)腳本文件校驗處理，包括：

在第一服務(wù)端獲取客戶端上傳的ETL任務(wù)腳本文件，其中ETL任務(wù)腳本文件為kjb文件；

校驗ETL任務(wù)腳本文件的內(nèi)容合法性，包括檢查ETL任務(wù)腳本文件的后綴是否規(guī)范、能否以XML方式將ETL任務(wù)腳本文件讀取出來、檢查是否符合kettle腳本規(guī)范；

通過vsftp服務(wù)將ETL任務(wù)腳本文件傳送至第二服務(wù)端，并向客戶端返回上傳結(jié)果及文件地址。

進一步地，配置動態(tài)執(zhí)行觸發(fā)機制，包括：

通過ThreadPoolTaskScheduler調(diào)度器創(chuàng)建一個新的定時任務(wù)，并將定時任務(wù)信息保存在數(shù)據(jù)庫中；

到定時時間向第二服務(wù)端觸發(fā)調(diào)用carte接口的請求；