[發(fā)明專利]一種數(shù)據(jù)處理任務(wù)的配置方法以及裝置

在審

• 申請?zhí)枺?/td>: 202110287307.4
• 申請日: 2021-03-17
• 公開（公告）號: CN112925624A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 吳曉剛;馮進;楊軍;魏浩;黃傳劍
• 申請（專利權(quán)）人: 中國電子系統(tǒng)技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京尚鉞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11723
• 代理人: 王海榮;嚴田青

本申請公開了一種數(shù)據(jù)處理任務(wù)的配置方法，該方法可以根據(jù)所述若干數(shù)據(jù)處理任務(wù)之間的上下游關(guān)系對所述若干數(shù)據(jù)處理任務(wù)進行整理得到所述數(shù)據(jù)處理任務(wù)配置信息對應(yīng)的任務(wù)配置結(jié)果(即對所述若干數(shù)據(jù)處理任務(wù)進行了整理、整合)從而提高了任務(wù)配置結(jié)果的簡潔性和使用便捷性，以及，對所述初始任務(wù)配置流程對應(yīng)的循環(huán)依賴檢測結(jié)果進行合理性校驗，以提高所確定的所述數(shù)據(jù)處理任務(wù)配置信息對應(yīng)的任務(wù)配置結(jié)果的準(zhǔn)確性以及合理性，這樣，本申請可以提高數(shù)據(jù)處理任務(wù)的配置的效率、準(zhǔn)確性以及便捷性，進而提高了用戶體驗。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)處理任務(wù)的配置方法、裝置。

背景技術(shù)

在數(shù)據(jù)倉庫、數(shù)據(jù)中心、數(shù)據(jù)中臺等數(shù)據(jù)治理類型的項目中，存在大量的數(shù)據(jù)處理功能模塊/腳本，分別實現(xiàn)數(shù)據(jù)的采、存、用的功能，這些模塊、腳本在執(zhí)行過程中存在互相依賴的關(guān)系，共同形成數(shù)據(jù)治理流程。

當(dāng)前業(yè)界通常使用開源工具(如kettle)或自研產(chǎn)品進行流程編排，流程中的依賴關(guān)系、觸發(fā)時機都依靠數(shù)據(jù)治理人員人工維護，這種方式在中小型項目中可以順利支撐，當(dāng)業(yè)務(wù)量較大時(千、萬級任務(wù)量)，面臨以下問題：

1、難以判斷任務(wù)的上下游依賴，難以確定可執(zhí)行時間；

2、手工制定的流程為了便于構(gòu)思，通常使用固化步驟節(jié)點的方式進行分階段，處理效率達不到最優(yōu)；

3、傳統(tǒng)流程編排采用統(tǒng)一周期觸發(fā)，日、周、月等不同周期時，需要將同一任務(wù)改編多次，以適應(yīng)不同的周期需求，并分別配置到對應(yīng)的周期流程中，多套流程執(zhí)行時容易引發(fā)沖突，并且維護復(fù)雜；

4、業(yè)界常用工具都是使用分級流程，缺乏完整明細步驟視圖，維護復(fù)雜。

故此，亟需一種新的數(shù)據(jù)ID的生成方案。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)處理任務(wù)的配置方法，以實現(xiàn)提高數(shù)據(jù)處理任務(wù)的配置的效率、準(zhǔn)確性以及便捷性，進而提高了用戶體驗。

第一方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理任務(wù)的配置方法，所述方法包括：

獲取數(shù)據(jù)處理任務(wù)配置信息；

根據(jù)所述數(shù)據(jù)處理任務(wù)配置信息，確定所述數(shù)據(jù)處理任務(wù)配置信息中的若干數(shù)據(jù)處理任務(wù)，以及所述若干數(shù)據(jù)處理任務(wù)之間的上下游關(guān)系；

根據(jù)所述若干數(shù)據(jù)處理任務(wù)以及所述若干數(shù)據(jù)處理任務(wù)之間的上下游關(guān)系，確定初始任務(wù)配置流程；

若所述初始任務(wù)配置流程對應(yīng)的循環(huán)依賴檢測結(jié)果滿足預(yù)設(shè)條件，根據(jù)所述初始任務(wù)配置流程確定所述數(shù)據(jù)處理任務(wù)配置信息對應(yīng)的任務(wù)配置結(jié)果。

第二方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理任務(wù)的配置方法，所述裝置包括：

信息獲取單元，用于獲取數(shù)據(jù)處理任務(wù)配置信息；

關(guān)系確定單元，用于根據(jù)所述數(shù)據(jù)處理任務(wù)配置信息，確定所述數(shù)據(jù)處理任務(wù)配置信息中的若干數(shù)據(jù)處理任務(wù)，以及所述若干數(shù)據(jù)處理任務(wù)之間的上下游關(guān)系；

流程確定單元，用于根據(jù)所述若干數(shù)據(jù)處理任務(wù)以及所述若干數(shù)據(jù)處理任務(wù)之間的上下游關(guān)系，確定初始任務(wù)配置流程；

結(jié)果確定單元，用于若所述初始任務(wù)配置流程對應(yīng)的循環(huán)依賴檢測結(jié)果滿足預(yù)設(shè)條件，根據(jù)所述初始任務(wù)配置流程確定所述數(shù)據(jù)處理任務(wù)配置信息對應(yīng)的任務(wù)配置結(jié)果。

第三方面，本申請?zhí)峁┝艘环N可讀介質(zhì)，包括執(zhí)行指令，當(dāng)電子設(shè)備的處理器執(zhí)行所述執(zhí)行指令時，所述電子設(shè)備執(zhí)行如第一方面中任一所述的方法。

第四方面，本申請?zhí)峁┝艘环N電子設(shè)備，包括處理器以及存儲有執(zhí)行指令的存儲器，當(dāng)所述處理器執(zhí)行所述存儲器存儲的所述執(zhí)行指令時，所述處理器執(zhí)行如第一方面中任一所述的方法。