[發(fā)明專利]基于有向無環(huán)圖的分布式任務(wù)調(diào)度方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011487630.8
• 申請(qǐng)日: 2020-12-16
• 公開（公告）號(hào): CN112506636A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 范強(qiáng);張翔南;凌瀛洲;馮超;王家卓
• 申請(qǐng)（專利權(quán)）人: 北京中天孔明科技股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F16/182
• 代理公司: 北京中政聯(lián)科專利代理事務(wù)所(普通合伙) 11489
• 代理人: 楊友枚

1.一種基于有向無環(huán)圖的分布式任務(wù)調(diào)度方法，其特征在于，包括：

構(gòu)建有向無環(huán)圖，所述有向無環(huán)圖中包括多個(gè)處理流程，所述處理流程包括第一處理流程和第二處理流程，所述第二處理流程包括多個(gè)獨(dú)立的子流程；

依次順序執(zhí)行多個(gè)所述處理流程，執(zhí)行所述第二處理流程為：并行執(zhí)行所述第二處理流程包括的多個(gè)所述子流程；

將執(zhí)行完所述第一處理流程得到的運(yùn)算結(jié)果和執(zhí)行完每個(gè)所述子流程得到的運(yùn)算結(jié)果儲(chǔ)存至分布式文件系統(tǒng)中；

其中，初始所述處理流程的輸入數(shù)據(jù)為預(yù)設(shè)數(shù)據(jù)，上一所述處理流程的運(yùn)算結(jié)果為下一所述處理流程的輸入數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

從所述儲(chǔ)存至分布式文件系統(tǒng)中提取所述第一處理流程的運(yùn)算結(jié)果，將所述運(yùn)算結(jié)果輸入下一所述處理流程。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

從所述儲(chǔ)存至分布式文件系統(tǒng)中提取所述第二處理流程中的多個(gè)所述子流程的運(yùn)算結(jié)果；

對(duì)比多個(gè)所述子流程的所述運(yùn)算結(jié)果，并得到最優(yōu)運(yùn)算結(jié)果，將所述最優(yōu)運(yùn)算結(jié)果輸入下一所述處理流程。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

同一所述第二處理流程中的多個(gè)所述子流程包括相同的輸入數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，

每個(gè)所述處理流程包括不同的輸入?yún)?shù)和不同的運(yùn)算邏輯；

每個(gè)所述子流程包括不同的輸入?yún)?shù)和不同的運(yùn)算邏輯。

6.一種基于有向無環(huán)圖的分布式任務(wù)調(diào)度裝置，其特征在于，

構(gòu)建模塊，用于構(gòu)建有向無環(huán)圖，所述有向無環(huán)圖中包括多個(gè)處理流程，所述處理流程包括第一處理流程和第二處理流程，所述第二處理流程包括多個(gè)獨(dú)立的子流程；

執(zhí)行模塊，用于依次順序執(zhí)行多個(gè)所述處理流程，執(zhí)行所述第二處理流程為：并行執(zhí)行所述第二處理流程包括的多個(gè)所述子流程；

儲(chǔ)存模塊，用于將執(zhí)行完所述第一處理流程得到的運(yùn)算結(jié)果和執(zhí)行完每個(gè)所述子流程得到的運(yùn)算結(jié)果儲(chǔ)存至分布式文件系統(tǒng)中；

其中，初始所述處理流程的輸入數(shù)據(jù)為預(yù)設(shè)數(shù)據(jù)，上一所述處理流程的運(yùn)算結(jié)果為下一所述處理流程的輸入數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

第一數(shù)據(jù)提取模塊，用于從所述儲(chǔ)存至分布式文件系統(tǒng)中提取所述第一處理流程的運(yùn)算結(jié)果，將所述運(yùn)算結(jié)果輸入下一所述處理流程。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

第二數(shù)據(jù)提取模塊，用于從所述儲(chǔ)存至分布式文件系統(tǒng)中提取所述第二處理流程中的多個(gè)所述子流程的運(yùn)算結(jié)果；

對(duì)比模塊，用于對(duì)比多個(gè)所述子流程的所述運(yùn)算結(jié)果，并得到最優(yōu)運(yùn)算結(jié)果，將所述最優(yōu)運(yùn)算結(jié)果輸入下一所述處理流程。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1至5任一項(xiàng)所述的步驟。