[發(fā)明專利]一種多任務(wù)動態(tài)資源調(diào)度方法

在審

• 申請?zhí)枺?/td>: 202010419223.7
• 申請日: 2020-05-18
• 公開（公告）號: CN111767134A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計）人: 周建二;黃勇;姬東岑
• 申請（專利權(quán)）人: 鵬城實驗室;南方科技大學(xué)
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 溫宏梅

本發(fā)明公開了一種多任務(wù)動態(tài)資源調(diào)度方法，當(dāng)接收到新任務(wù)時在所有運行任務(wù)中選取新任務(wù)對應(yīng)的候選任務(wù)，并且各運行任務(wù)對應(yīng)的優(yōu)先級基于各運行任務(wù)的已運行時長確定的；根據(jù)新任務(wù)對應(yīng)的系統(tǒng)分配資源，確定各候選任務(wù)對應(yīng)的調(diào)整資源；根據(jù)各候選任務(wù)的調(diào)整資源對各候選任務(wù)對應(yīng)的分配資源進行調(diào)整，將調(diào)整得到的系統(tǒng)資源分配給新任務(wù)。本實施例利用容器化資源隔離方式，實現(xiàn)了基于任務(wù)已執(zhí)行時長的動態(tài)資源調(diào)度機制，這樣無須提前預(yù)測任務(wù)運行所需要的時間，根據(jù)任務(wù)已執(zhí)行時間，給不同任務(wù)設(shè)置動態(tài)優(yōu)先級，優(yōu)先級高的任務(wù)分配較多資源，反之減少分配的資源，使得在減少短任務(wù)完成時間的前提下，保證長任務(wù)的完成，提高整體的資源使用率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種多任務(wù)動態(tài)資源調(diào)度方法。

背景技術(shù)

大數(shù)據(jù)處理平臺中的一個計算需求普遍會被分解為多個計算任務(wù)，多個計算任務(wù)的結(jié)果共同組成最終的處理結(jié)果。對不同計算任務(wù)在時間和資源兩種維度上的調(diào)度方式，決定了計算需求的完成時間和整個大數(shù)據(jù)處理平臺的資源使用效率。目標(biāo)為了滿足計算需求在時間調(diào)度的需求，目前普遍采用對任務(wù)時長進行預(yù)測的方法，這樣基于預(yù)測任務(wù)長短的調(diào)度算法雖然能保證短任務(wù)的完成時間，但是其依賴對任務(wù)的提前預(yù)測，預(yù)測準(zhǔn)備度不能保證，從而會導(dǎo)致時間調(diào)度算法的失效；另外，基于預(yù)測的算法本身實現(xiàn)復(fù)雜，帶來較大的開銷。

因而現(xiàn)有技術(shù)還有待改進和提高。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的不足，提供一種多任務(wù)動態(tài)資源調(diào)度方法。

為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案如下：

一種多任務(wù)動態(tài)資源調(diào)度方法，所述方法包括：

當(dāng)接收到新任務(wù)時，在所有運行任務(wù)中選取新任務(wù)對應(yīng)的候選任務(wù)，其中，所述候選任務(wù)對應(yīng)的優(yōu)先級處于預(yù)設(shè)優(yōu)先級區(qū)間，各運行任務(wù)對應(yīng)的優(yōu)先級為基于各運行任務(wù)的已運行時長確定的；

根據(jù)所述新任務(wù)對應(yīng)的系統(tǒng)分配資源，確定各候選任務(wù)各自對應(yīng)的調(diào)整資源；

根據(jù)各候選任務(wù)各自對應(yīng)的調(diào)整資源分別對各候選任務(wù)對應(yīng)的分配資源進行調(diào)整，并將調(diào)整得到的系統(tǒng)資源分配給所述新任務(wù)。

在一個實現(xiàn)方式中，所述當(dāng)接收到新任務(wù)時，根據(jù)該新任務(wù)對應(yīng)的所有候選任務(wù)具體包括：

當(dāng)接收到新任務(wù)時，獲取系統(tǒng)的空閑資源；

若空閑資源未滿足所述系統(tǒng)分配資源，則根據(jù)該新任務(wù)對應(yīng)的所有候選任務(wù)；

若空閑資源滿足所述系統(tǒng)分配資源，則基于空閑資源為所述新任務(wù)分配資源。

在一個實現(xiàn)方式中，所述預(yù)設(shè)優(yōu)先級區(qū)間的下限值對應(yīng)的優(yōu)先級低于預(yù)設(shè)最高優(yōu)先級，并且上限值對應(yīng)的優(yōu)先級等于預(yù)設(shè)最低優(yōu)先級。

在一個實現(xiàn)方式中，所述根據(jù)所述新任務(wù)對應(yīng)的系統(tǒng)分配資源，確定各候選任務(wù)各自對應(yīng)的調(diào)整資源具體包括：

根據(jù)所述新任務(wù)對應(yīng)的系統(tǒng)分配資源，確定預(yù)設(shè)優(yōu)先級區(qū)間中各候選優(yōu)先級對應(yīng)的候選資源；

對于每個候選優(yōu)先級，根據(jù)該候選優(yōu)先級對應(yīng)的候選資源，確定該候選優(yōu)先級對應(yīng)的各候選任務(wù)對應(yīng)的調(diào)整資源。

在一個實現(xiàn)方式中，對于每個候選優(yōu)先級，該候選優(yōu)先級對應(yīng)的候選資源等于目標(biāo)值與所述系統(tǒng)分配資源的乘積，其中，所述目標(biāo)值為該候選等級與預(yù)設(shè)優(yōu)先級區(qū)間中各候選優(yōu)先級的和的比值。

在一個實現(xiàn)方式中，所述新任務(wù)對應(yīng)的優(yōu)先級為最高優(yōu)先級。

在一個實現(xiàn)方式中，所述方法還包括：

每間隔預(yù)設(shè)時間，獲取每個對照優(yōu)先級對應(yīng)的所有運行任務(wù)，其中，所述對照優(yōu)先級為所有優(yōu)先級中除最低優(yōu)先級外的其它優(yōu)先級；