[發(fā)明專利]一種任務(wù)調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011091973.2
• 申請(qǐng)日: 2020-10-13
• 公開(kāi)（公告）號(hào): CN112181661B
• 公開(kāi)（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 張京城;吳江
• 申請(qǐng)（專利權(quán)）人: 極道科技（北京）有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48
• 代理公司: 北京世譽(yù)鑫誠(chéng)專利代理有限公司 11368
• 代理人: 郭官厚

本發(fā)明公開(kāi)的任務(wù)調(diào)度方法，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，根據(jù)優(yōu)先級(jí)從大到小的順序，遍歷處于各個(gè)優(yōu)先級(jí)隊(duì)列，計(jì)算優(yōu)先級(jí)隊(duì)列的限流參數(shù)alpha，計(jì)算當(dāng)前優(yōu)先級(jí)隊(duì)列中的可調(diào)度任務(wù)數(shù)allowed?schedule?num，根據(jù)當(dāng)前優(yōu)先級(jí)隊(duì)列中的可調(diào)度任務(wù)數(shù)allowed?schedule?num，向目標(biāo)系統(tǒng)提交任務(wù)，簡(jiǎn)化了調(diào)度難度，適用于多種場(chǎng)景，提高了調(diào)度的有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種任務(wù)調(diào)度方法。

背景技術(shù)

在大規(guī)模計(jì)算場(chǎng)景下，需要解決的一個(gè)普遍問(wèn)題是將所有節(jié)點(diǎn)的資源(例如CPU、內(nèi)存、存儲(chǔ)空間等)組合成資源池，根據(jù)資源的空閑和負(fù)載情況，將任務(wù)調(diào)度到合適的節(jié)點(diǎn)，分配硬件資源進(jìn)行計(jì)算。當(dāng)計(jì)算完成后，釋放該節(jié)點(diǎn)的資源，然后調(diào)度其它任務(wù)。通常計(jì)算任務(wù)之間并不是平等的，可以劃分成很多優(yōu)先級(jí)，系統(tǒng)應(yīng)當(dāng)優(yōu)先調(diào)度優(yōu)先級(jí)高的任務(wù)，以獲得較好的用戶響應(yīng)體驗(yàn)。

業(yè)界有很多調(diào)度系統(tǒng)如SGE、PBS、Kubernettes、Mesos等可以實(shí)現(xiàn)上述任務(wù)的調(diào)度功能。這些調(diào)度系統(tǒng)大都采用下述方法：

(1)通過(guò)獲取各個(gè)目標(biāo)系統(tǒng)中的各個(gè)節(jié)點(diǎn)的所有資源的準(zhǔn)確信息，然后采用一定的算法，得到具體的調(diào)度計(jì)劃。業(yè)界幾乎所有的調(diào)度系統(tǒng)都是采用該方法，差別只在于根據(jù)資源信息計(jì)算調(diào)度計(jì)劃的算法不同。該類方法的劣勢(shì)在于，目標(biāo)系統(tǒng)對(duì)調(diào)度系統(tǒng)不透明。調(diào)度系統(tǒng)需要完全掌控所有資源的準(zhǔn)確信息，這在很多場(chǎng)景下是不現(xiàn)實(shí)的。例如在云計(jì)算的場(chǎng)景下，云端資源原則上對(duì)用戶是透明的，不可能向用戶開(kāi)放詳細(xì)的資源狀態(tài)。另一個(gè)典型場(chǎng)景是用戶需要組合多個(gè)不同的目標(biāo)系統(tǒng)時(shí)，每個(gè)目標(biāo)系統(tǒng)有內(nèi)置的資源管理系統(tǒng)，不可能對(duì)用戶統(tǒng)一開(kāi)放資源統(tǒng)計(jì)信息，這些場(chǎng)景下都需要修改調(diào)度系統(tǒng)，在目標(biāo)系統(tǒng)的資源狀況完全未知的狀況下，實(shí)現(xiàn)有效調(diào)度；

(2)為了實(shí)現(xiàn)優(yōu)先級(jí)調(diào)度，常用的方法是根據(jù)任務(wù)的調(diào)度限制和優(yōu)先級(jí)，進(jìn)行資源匹配。通常會(huì)根據(jù)任務(wù)配置和優(yōu)先級(jí)計(jì)算一個(gè)權(quán)重值，根據(jù)權(quán)重值進(jìn)行調(diào)度。該類調(diào)度方法在很多場(chǎng)景下能夠?qū)崿F(xiàn)相對(duì)有效的調(diào)度，但是實(shí)現(xiàn)起來(lái)非常復(fù)雜。最優(yōu)調(diào)度問(wèn)題通常是NP難問(wèn)題，屬于算法中沒(méi)有計(jì)算簡(jiǎn)單的最優(yōu)解的情況。因此該算法可能僅在一種場(chǎng)景下有效，在另一種場(chǎng)景下可能表現(xiàn)很差。因此好的調(diào)度系統(tǒng)不但要實(shí)現(xiàn)高的資源利用率和用戶響應(yīng)，還必須具備調(diào)節(jié)能力，可以適應(yīng)不同的環(huán)境和用戶需求，并能夠解釋調(diào)度的結(jié)果。上述根據(jù)權(quán)重值進(jìn)行調(diào)度的算法，它的任務(wù)配置和權(quán)重值的關(guān)系比較復(fù)雜，難于通過(guò)調(diào)節(jié)配置，迅速提升特定任務(wù)的調(diào)度優(yōu)先級(jí)。另外，也難于向用戶解釋一個(gè)復(fù)雜場(chǎng)景下的調(diào)度結(jié)果。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，本發(fā)明實(shí)施例提供了一種任務(wù)調(diào)度方法，該方法包括以下步驟：

步驟1：初始化變量last-schedule-num＝0，total-schedule-num＝0，其中，last-schedule-num為上一個(gè)隊(duì)列調(diào)度的任務(wù)數(shù)量，total-schedule-num為當(dāng)前總共調(diào)度的任務(wù)數(shù)量；

步驟2：根據(jù)優(yōu)先級(jí)從大到小的順序，遍歷處于各個(gè)優(yōu)先級(jí)隊(duì)列，運(yùn)行步驟3～步驟5，其中，一個(gè)優(yōu)先級(jí)隊(duì)列包括具有相同優(yōu)先級(jí)的多個(gè)任務(wù)；

步驟3：計(jì)算優(yōu)先級(jí)隊(duì)列的限流參數(shù)alpha，包括：

判斷當(dāng)前優(yōu)先級(jí)隊(duì)列中處于等待狀態(tài)的各個(gè)任務(wù)數(shù)量的和Total-Wait-Num是否大于設(shè)定的閾值Throate-TaskQuota，若是，則利用公式