[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010793561.7
• 申請(qǐng)日: 2020-08-10
• 公開（公告）號(hào): CN112084014A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 彭玉艷;龍富永;胡松青;李潤(rùn)靜;黃寧飛
• 申請(qǐng)（專利權(quán)）人: 珠海格力電器股份有限公司;珠海聯(lián)云科技有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/52;G06F16/25
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 楊曉萍

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，用以解決當(dāng)出現(xiàn)前向依賴的ETL子任務(wù)運(yùn)行故障時(shí)，目標(biāo)ETL子任務(wù)一直占用調(diào)度線程不運(yùn)行，造成資源浪費(fèi)的問題。由于本發(fā)明實(shí)施例中預(yù)設(shè)有退出條件，當(dāng)根據(jù)獲取到的每個(gè)其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)，確定目標(biāo)ETL子任務(wù)滿足退出條件時(shí)，控制該目標(biāo)ETL子任務(wù)退出調(diào)度線程，從而可以在目標(biāo)ETL子任務(wù)前向依賴的其他ETL子任務(wù)運(yùn)行故障時(shí)，避免該目標(biāo)ETL子任務(wù)一直占用調(diào)度線程也不運(yùn)行的情況發(fā)生，減少了資源浪費(fèi)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(Extract-Transform-Load，ETL)用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)摘取(Extract)、清洗(Cleaning)、轉(zhuǎn)換(Transform)、裝載(Load)至目的端的過(guò)程，即從數(shù)據(jù)源摘取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗，過(guò)濾掉可能錯(cuò)誤的數(shù)據(jù)，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將清洗后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。因此，ETL在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中發(fā)揮著至關(guān)重要的作用。

隨著數(shù)據(jù)倉(cāng)庫(kù)規(guī)模的增加，現(xiàn)有技術(shù)中，一般會(huì)將一個(gè)ETL任務(wù)分為多個(gè)ETL子任務(wù)，然后將每個(gè)ETL子任務(wù)分布式部署在不同的服務(wù)器或者不同的調(diào)度線程中，以提高構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的效率。其中，任一ETL子任務(wù)既有可能依賴于其他ETL子任務(wù)，也有可能被其他ETL子任務(wù)依賴。根據(jù)每個(gè)ETL子任務(wù)之間的依賴關(guān)系，可以形成一棵龐大的ETL樹，從該ETL樹上的任何一個(gè)樹頂ETL子任務(wù)到葉子ETL子任務(wù)，都會(huì)形成一條數(shù)據(jù)鏈路。

由于上述的ETL樹上的任一條數(shù)據(jù)鏈路中的ETL子任務(wù)之間存在依賴關(guān)系，如果該數(shù)據(jù)鏈路中的任何一個(gè)ETL子任務(wù)運(yùn)行故障，例如延遲、運(yùn)行失敗等，會(huì)導(dǎo)致該數(shù)據(jù)鏈路中所有依賴它的其他ETL子任務(wù)將一直占用所在的調(diào)度線程，造成調(diào)度線程一直被占用但無(wú)法繼續(xù)運(yùn)行，造成資源浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，用以解決當(dāng)出現(xiàn)前向依賴的ETL子任務(wù)運(yùn)行故障時(shí)，目標(biāo)ETL子任務(wù)一直占用調(diào)度線程也不運(yùn)行，造成資源浪費(fèi)的問題。

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

當(dāng)確定目標(biāo)ETL子任務(wù)存在前向依賴的其他ETL子任務(wù)時(shí)，獲取每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)；

根據(jù)每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)，判斷所述目標(biāo)ETL子任務(wù)是否滿足退出條件；

若所述目標(biāo)ETL子任務(wù)滿足所述退出條件，則控制所述目標(biāo)ETL子任務(wù)退出調(diào)度線程。

進(jìn)一步地，所述根據(jù)每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)，判斷所述目標(biāo)ETL子任務(wù)是否滿足退出條件，包括：

若任一所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)為運(yùn)行失敗，則確定所述目標(biāo)ETL子任務(wù)滿足退出條件。

進(jìn)一步地，所述根據(jù)每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)，判斷所述目標(biāo)ETL子任務(wù)是否滿足退出條件包括：

根據(jù)每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)、及所述目標(biāo)ETL子任務(wù)已休眠時(shí)長(zhǎng)，判斷所述目標(biāo)ETL子任務(wù)是否滿足退出條件。

進(jìn)一步地，所述根據(jù)每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)及所述目標(biāo)ETL子任務(wù)已休眠時(shí)長(zhǎng)，判斷所述目標(biāo)ETL子任務(wù)是否滿足退出條件包括：

若每個(gè)所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)均不為運(yùn)行失敗、存在任一所述其他ETL子任務(wù)對(duì)應(yīng)的運(yùn)行狀態(tài)為未完成運(yùn)行，且所述目標(biāo)ETL子任務(wù)的已休眠時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的時(shí)長(zhǎng)閾值，則確定所述目標(biāo)ETL子任務(wù)滿足退出條件。

進(jìn)一步地，若所述目標(biāo)ETL子任務(wù)不滿足退出條件，所述方法還包括：

控制所述目標(biāo)ETL子任務(wù)進(jìn)入預(yù)設(shè)時(shí)長(zhǎng)的休眠。