[發(fā)明專利]一種分布式任務(wù)調(diào)度方法、裝置、終端設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011443427.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112463390A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 蔡斌冰;彭琪偉;段思欣
• 申請（專利權(quán)）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06N20/00
• 代理公司: 廈門市精誠新創(chuàng)知識產(chǎn)權(quán)代理有限公司 35218
• 代理人: 蔡金塔

本發(fā)明涉及一種分布式任務(wù)調(diào)度方法、裝置、終端設(shè)備及存儲介質(zhì)，分布式任務(wù)調(diào)度裝置包括任務(wù)分類模塊和節(jié)點(diǎn)管理模塊，其中，任務(wù)分類模塊用于負(fù)責(zé)任務(wù)分片的管理及分類功能，節(jié)點(diǎn)規(guī)劃模塊用于負(fù)責(zé)節(jié)點(diǎn)的管理及任務(wù)分配功能。本發(fā)明能夠?qū)崿F(xiàn)對分布式任務(wù)的自動化科學(xué)調(diào)度，大大降低了系統(tǒng)管理人員的工作負(fù)擔(dān)。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式系統(tǒng)領(lǐng)域，具體地涉及一種分布式任務(wù)調(diào)度方法、裝置、終端設(shè)備及存儲介質(zhì)。

背景技術(shù)

資源利用率關(guān)系到分布式系統(tǒng)性能的優(yōu)劣，為作業(yè)選取合適的節(jié)點(diǎn)有利于提高分布式系統(tǒng)的資源利用率。目前，主流的調(diào)度器，例如公平調(diào)度器，計算能力調(diào)度器等，在資源規(guī)劃方面，主要是根據(jù)分布式系統(tǒng)中節(jié)點(diǎn)的資源量，包括CPU資源和內(nèi)存資源，進(jìn)行分配，但是并未對客戶端提交的作業(yè)進(jìn)行規(guī)劃。在節(jié)點(diǎn)負(fù)載處理上，默認(rèn)的任務(wù)分配和副本放置策略主要針對同構(gòu)環(huán)境，未考慮節(jié)點(diǎn)間的異構(gòu)問題，因此在異構(gòu)的環(huán)境下，由于節(jié)點(diǎn)性能的差異，會導(dǎo)致分布式系統(tǒng)負(fù)載不均衡。

近幾年，隨著計算機(jī)硬件的發(fā)展，機(jī)器學(xué)習(xí)領(lǐng)域再次呈現(xiàn)出一片繁榮的景象。機(jī)器學(xué)習(xí)的落地實(shí)施是業(yè)界追求的目標(biāo)。分布式系統(tǒng)中天然存在大量數(shù)據(jù)集，這為機(jī)器學(xué)習(xí)創(chuàng)造了一個絕佳的訓(xùn)練和落地環(huán)境。分布式系統(tǒng)與機(jī)器學(xué)習(xí)的結(jié)合順應(yīng)了科學(xué)技術(shù)的發(fā)展趨勢，也使機(jī)器學(xué)習(xí)有更實(shí)質(zhì)性的落地實(shí)施。Apache Spark，Apache Flink等知名開源軟件就是最好的例子，他們擁有健全的分布式機(jī)器學(xué)習(xí)庫，同時仍在不斷發(fā)展壯大。

在分布式系統(tǒng)中，有大量配置參數(shù)需要系統(tǒng)管理人員設(shè)置，并且要求系統(tǒng)管理人員擁有較專業(yè)的技術(shù)水平。

發(fā)明內(nèi)容

本發(fā)明旨在提供一種分布式任務(wù)調(diào)度方法、裝置、終端設(shè)備及存儲介質(zhì)，以解決上述問題。為此，本發(fā)明采用的具體技術(shù)方案如下：

根據(jù)本發(fā)明的一方面，提供了一種分布式任務(wù)調(diào)度方法，其包括以下步驟：

S1.在分布式系統(tǒng)的所有集群節(jié)點(diǎn)中，根據(jù)選舉算法，會有一個節(jié)點(diǎn)晉升為主節(jié)點(diǎn)，該主節(jié)點(diǎn)負(fù)責(zé)管理集群節(jié)點(diǎn)的元信息，包括節(jié)點(diǎn)規(guī)劃模塊和任務(wù)分配模塊；

S2.在分布式系統(tǒng)啟動階段，節(jié)點(diǎn)規(guī)劃模塊根據(jù)節(jié)點(diǎn)資源情況將集群的節(jié)點(diǎn)規(guī)劃成充足資源類、正常資源類和緊張資源類三大類，同時根據(jù)節(jié)點(diǎn)的負(fù)載情況，進(jìn)一步將節(jié)點(diǎn)分成高負(fù)載節(jié)點(diǎn)，正常負(fù)載節(jié)點(diǎn)，以及空閑節(jié)點(diǎn)三類；

S3.在分布式系統(tǒng)運(yùn)行過程中，節(jié)點(diǎn)規(guī)劃模塊會定期根據(jù)節(jié)點(diǎn)的資源狀況對節(jié)點(diǎn)進(jìn)行重新劃分資源類別，以及根據(jù)節(jié)點(diǎn)的負(fù)載情況判斷節(jié)點(diǎn)的負(fù)載類型；

S4.當(dāng)分布式集群遇到故障時，節(jié)點(diǎn)規(guī)劃模塊會重新執(zhí)行步驟S3；

S5.在作業(yè)執(zhí)行過程中，作業(yè)會被分成很多任務(wù)片，任務(wù)分類模塊根據(jù)任務(wù)的各項(xiàng)需求指標(biāo)，運(yùn)用機(jī)器學(xué)習(xí)算法對任務(wù)進(jìn)行分類，最終發(fā)送任務(wù)至指定資源類型中的指定節(jié)點(diǎn)上；

S6.當(dāng)某個任務(wù)執(zhí)行失敗時，任務(wù)分類模塊會重新評估任務(wù)的各項(xiàng)指標(biāo)，并為其分配適合的隊列；

S7.當(dāng)集群的某個節(jié)點(diǎn)處于空閑狀態(tài)時，該節(jié)點(diǎn)可利用心跳通知主節(jié)點(diǎn)為其分配合適的任務(wù)。

進(jìn)一步地，步驟S1還包括：配置一個節(jié)點(diǎn)作為主節(jié)點(diǎn)的備份節(jié)點(diǎn)，負(fù)責(zé)主節(jié)點(diǎn)的容錯工作。

進(jìn)一步地，步驟S2還包括配置充足資源類、正常資源類和緊張資源類三類節(jié)點(diǎn)的數(shù)量占比。優(yōu)選地，充足資源類、正常資源類和緊張資源類三類節(jié)點(diǎn)的數(shù)量占比為30％，40％和30％。

進(jìn)一步地，S2-S4中根據(jù)節(jié)點(diǎn)資源情況將集群的節(jié)點(diǎn)規(guī)劃成充足資源類、正常資源類和緊張資源類三大類的計算公式如下：

score＝CPU*30％+Memory*30％+Time*40％，