[發(fā)明專利]任務(wù)調(diào)度方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811238632.6
• 申請日: 2018-10-23
• 公開（公告）號: CN111090501A
• 公開（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: 陳列;周旭;古亮
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

1.一種任務(wù)調(diào)度方法，其特征在于，所述任務(wù)調(diào)度方法包括如下步驟：

當(dāng)集群中的分布式計(jì)算平臺MapRduce接收到大數(shù)據(jù)任務(wù)時(shí)，啟用第一預(yù)設(shè)模式以允許集群中的高性能節(jié)點(diǎn)拉取低性能節(jié)點(diǎn)的task運(yùn)行，其中task為所述大數(shù)據(jù)任務(wù)的最小任務(wù)單元；

當(dāng)監(jiān)測到集群中存在完成了Shuffle階段的task時(shí)，獲取集群中完成了Map階段的task數(shù)量和完成了Shuffle階段的task數(shù)量；

檢測完成了Map階段的task數(shù)量和完成了Shuffle階段的task數(shù)量之間的相對變化情況，根據(jù)所述相對變化情況確定所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑；

當(dāng)確定Shuffle階段為所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑時(shí)，將所述第一預(yù)設(shè)模式切換為第二預(yù)設(shè)模式以禁止集群中的高性能節(jié)點(diǎn)拉取低性能節(jié)點(diǎn)的task運(yùn)行。

2.如權(quán)利要求1所述的任務(wù)調(diào)度方法，其特征在于，所述檢測完成了Map階段的task數(shù)量和完成了Shuffle階段的task數(shù)量之間的相對變化情況，根據(jù)所述相對變化情況確定所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑的步驟包括：

計(jì)算完成了Map階段的task數(shù)量和完成了Shuffle階段的task數(shù)量的差值；

獲取所述差值隨時(shí)間推移的變化率；

當(dāng)所述差值隨時(shí)間推移的變化率為正值時(shí)，確定Shuffle階段為所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑。

3.如權(quán)利要求2所述的任務(wù)調(diào)度方法，其特征在于，所述獲取所述差值隨時(shí)間推移的變化率的步驟之后，還包括：

當(dāng)所述差值隨時(shí)間推移的變化率為負(fù)值時(shí)，確定Map階段為所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑，并控制MapRduce保持所述第一預(yù)設(shè)模式運(yùn)行。

4.如權(quán)利要求1所述的任務(wù)調(diào)度方法，其特征在于，所述檢測完成了Map階段的task數(shù)量和完成了Shuffle階段的task數(shù)量之間的相對變化情況，根據(jù)所述相對變化情況確定所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑的步驟包括：

在預(yù)設(shè)時(shí)長內(nèi)，分別計(jì)算完成了Map階段的task數(shù)量的增長速率和完成了Shuffle階段的task數(shù)量的增長速率，并將計(jì)算結(jié)果進(jìn)行比較；

若完成了Map階段的task數(shù)量的增長速率大于完成了Shuffle階段的task數(shù)量的增長速率，則確定Shuffle階段為所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑；

若完成了Map階段的task數(shù)量的增長速率小于完成了Shuffle階段的task數(shù)量的增長速率，則確定Map階段為所述大數(shù)據(jù)任務(wù)的關(guān)鍵路徑。

5.如權(quán)利要求1至3中任一項(xiàng)所述的任務(wù)調(diào)度方法，其特征在于，所述任務(wù)調(diào)度方法還包括：

當(dāng)所述大數(shù)據(jù)任務(wù)以所述第一預(yù)設(shè)模式運(yùn)行時(shí)，獲取集群中的高性能節(jié)點(diǎn)和低性能節(jié)點(diǎn)基于預(yù)設(shè)同一計(jì)算量的執(zhí)行時(shí)間；

根據(jù)所述執(zhí)行時(shí)間確定集群中的高性能節(jié)點(diǎn)需從低性能節(jié)點(diǎn)拉取的task數(shù)量；

根據(jù)確定的高性能節(jié)點(diǎn)需從低性能節(jié)點(diǎn)拉取的task數(shù)量控制高性能節(jié)點(diǎn)從低性能節(jié)點(diǎn)拉取task運(yùn)行。

6.如權(quán)利要求5所述的任務(wù)調(diào)度方法，其特征在于，所述根據(jù)確定的高性能節(jié)點(diǎn)需從低性能節(jié)點(diǎn)拉取的task數(shù)量控制高性能節(jié)點(diǎn)從低性能節(jié)點(diǎn)拉取task運(yùn)行的步驟之后，還包括：

當(dāng)高性能節(jié)點(diǎn)從低性能節(jié)點(diǎn)拉取task運(yùn)行時(shí)，控制高性能節(jié)點(diǎn)的本地task與高性能節(jié)點(diǎn)拉取的task交叉執(zhí)行。

7.如權(quán)利要求1所述的任務(wù)調(diào)度方法，其特征在于，所述任務(wù)調(diào)度方法還包括：

當(dāng)MapRduce進(jìn)入Reduce階段時(shí)，獲取Shuffle階段生成的鍵值對數(shù)據(jù)，并獲取集群中各節(jié)點(diǎn)的計(jì)算能力值，其中對應(yīng)每個(gè)節(jié)點(diǎn)的計(jì)算能力值預(yù)設(shè)有一計(jì)算能力區(qū)間，且不同節(jié)點(diǎn)對應(yīng)的計(jì)算能力區(qū)間不相重疊；

將獲取到的集群中各節(jié)點(diǎn)的計(jì)算能力值進(jìn)行求和，得到計(jì)算能力總和值；

將所述鍵值對數(shù)據(jù)中的key和所述計(jì)算能力總和值進(jìn)行取余運(yùn)算，并確定所述取余運(yùn)算的運(yùn)算結(jié)果所處的預(yù)設(shè)計(jì)算能力區(qū)間；

將所述key對應(yīng)的value數(shù)據(jù)調(diào)度至確定的計(jì)算能力區(qū)間所對應(yīng)的節(jié)點(diǎn)上。