[發(fā)明專(zhuān)利]一種ETL任務(wù)執(zhí)行方法、系統(tǒng)、裝置、服務(wù)器及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010807415.5
• 申請(qǐng)日: 2020-08-12
• 公開(kāi)（公告）號(hào): CN114077630A
• 公開(kāi)（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 吳穎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州康晟健康管理咨詢有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25;G06F16/23;G06F16/28;G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開(kāi)了一種ETL任務(wù)執(zhí)行方法、系統(tǒng)、裝置、服務(wù)器及存儲(chǔ)介質(zhì)。其中方法包括：調(diào)用ETL定時(shí)任務(wù)流程，其中，所述ETL定時(shí)任務(wù)流程包括依序設(shè)置的至少一個(gè)數(shù)據(jù)源控件和至少一個(gè)數(shù)據(jù)倉(cāng)庫(kù)控件，其中，各所述數(shù)據(jù)源控件連接對(duì)應(yīng)的數(shù)據(jù)源，各所述數(shù)據(jù)倉(cāng)庫(kù)控件連接對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)；在所述ETL定時(shí)任務(wù)流程的執(zhí)行過(guò)程中，獲取流程更新指令；當(dāng)所述流程更新指令對(duì)應(yīng)的更新對(duì)象不是當(dāng)前執(zhí)行對(duì)象時(shí)，執(zhí)行所述流程更新指令，對(duì)所述ETL定時(shí)任務(wù)流程進(jìn)行更新，其中，更新后的ETL定時(shí)任務(wù)流程在下一定時(shí)時(shí)刻執(zhí)行。實(shí)現(xiàn)了在ETL任務(wù)的執(zhí)行過(guò)程中，對(duì)ETL定時(shí)任務(wù)流程的任務(wù)對(duì)象進(jìn)行更新。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種ETL任務(wù)執(zhí)行方法、系統(tǒng)、裝置、服務(wù)器及存儲(chǔ)介質(zhì)。

背景技術(shù)

ETL(Extraction-Transformation-Loading)為數(shù)據(jù)抽取、轉(zhuǎn)換和加載，ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

目前，在ETL的任務(wù)執(zhí)行過(guò)程中，無(wú)法對(duì)數(shù)據(jù)源和數(shù)據(jù)里進(jìn)行切換或者增減。

發(fā)明內(nèi)容

本發(fā)明提供一種ETL任務(wù)執(zhí)行方法、系統(tǒng)、裝置、服務(wù)器及存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)提高ETL任務(wù)執(zhí)行的靈活性。

第一方面，本發(fā)明實(shí)施例提供了一種ETL任務(wù)執(zhí)行方法，包括：

調(diào)用ETL定時(shí)任務(wù)流程，其中，所述ETL定時(shí)任務(wù)流程包括依序設(shè)置的至少一個(gè)數(shù)據(jù)源控件和至少一個(gè)數(shù)據(jù)倉(cāng)庫(kù)控件，其中，各所述數(shù)據(jù)源控件連接對(duì)應(yīng)的數(shù)據(jù)源，各所述數(shù)據(jù)倉(cāng)庫(kù)控件連接對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)；

在所述ETL定時(shí)任務(wù)流程的執(zhí)行過(guò)程中，獲取流程更新指令；

當(dāng)所述流程更新指令對(duì)應(yīng)的更新對(duì)象不是當(dāng)前執(zhí)行對(duì)象時(shí)，執(zhí)行所述流程更新指令，對(duì)所述ETL定時(shí)任務(wù)流程進(jìn)行更新，其中，更新后的ETL定時(shí)任務(wù)流程在下一定時(shí)時(shí)刻執(zhí)行。

第二方面，本發(fā)明實(shí)施例還提供了一種ETL任務(wù)調(diào)度系統(tǒng)，包括服務(wù)端、注冊(cè)中心和執(zhí)行器，其中，

所述服務(wù)端用于調(diào)用ETL定時(shí)任務(wù)流程，其中，所述ETL定時(shí)任務(wù)流程包括依序設(shè)置的至少一個(gè)數(shù)據(jù)源控件和至少一個(gè)數(shù)據(jù)倉(cāng)庫(kù)控件，其中，各所述數(shù)據(jù)源控件連接對(duì)應(yīng)的數(shù)據(jù)源，各所述數(shù)據(jù)倉(cāng)庫(kù)控件連接對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)；

所述執(zhí)行器用于執(zhí)行所述ETL定時(shí)任務(wù)流程；

所述服務(wù)端還用于在所述ETL定時(shí)任務(wù)流程的執(zhí)行過(guò)程中，獲取流程更新指令，當(dāng)所述流程更新指令對(duì)應(yīng)的更新對(duì)象不是當(dāng)前執(zhí)行對(duì)象時(shí)，執(zhí)行所述流程更新指令，對(duì)所述ETL定時(shí)任務(wù)流程進(jìn)行更新，其中，更新后的ETL定時(shí)任務(wù)流程在下一定時(shí)時(shí)刻執(zhí)行；

所述注冊(cè)中心用于對(duì)執(zhí)行器進(jìn)行注冊(cè)。

第三方面，本發(fā)明實(shí)施例還提供了一種ETL任務(wù)執(zhí)行裝置，包括：

任務(wù)流程調(diào)用裝置，用于調(diào)用ETL定時(shí)任務(wù)流程，其中，所述ETL定時(shí)任務(wù)流程包括依序設(shè)置的至少一個(gè)數(shù)據(jù)源控件和至少一個(gè)數(shù)據(jù)倉(cāng)庫(kù)控件，其中，各所述數(shù)據(jù)源控件連接對(duì)應(yīng)的數(shù)據(jù)源，各所述數(shù)據(jù)倉(cāng)庫(kù)控件連接對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)；

更新指令獲取模塊，用于在所述ETL定時(shí)任務(wù)流程的執(zhí)行過(guò)程中，獲取流程更新指令；

流程更新模塊，用于當(dāng)所述流程更新指令對(duì)應(yīng)的更新對(duì)象不是當(dāng)前執(zhí)行對(duì)象時(shí)，執(zhí)行所述流程更新指令，對(duì)所述ETL定時(shí)任務(wù)流程進(jìn)行更新，其中，更新后的ETL定時(shí)任務(wù)流程在下一定時(shí)時(shí)刻執(zhí)行。

第四方面，本發(fā)明實(shí)施例還提供了一種服務(wù)器，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明任一實(shí)施例提供的ETL任務(wù)執(zhí)行方法。