[發明專利]面向生物基因測序計算任務的多隊列回填作業調度方法

有效

• 申請號: 201610037738.4
• 申請日: 2016-01-20
• 公開（公告）號: CN105718312B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 董守斌;孫毅臻;胡金龍;張鈴啟;呂丹
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升

1.面向生物基因測序計算任務的多隊列回填作業調度方法，主要包括以下步驟：

S1、基于內存資源優化的回填調度：在傳統的回填(Backfilling)調度的基礎上進行改進，設計基于內存資源優化的回填調度；在作業調度的過程中，充分考慮了作業的CPU與內存屬性，根據這兩個屬性進行作業的資源預留與回填，從而盡可能地提高系統的利用率和使作業的執行效率；在利用資源預留形成的資源空隙進行回填時，保證不影響作業等待隊列中第一個作業的運行；

S2、多隊列負載均衡回填調度：在內存資源優化回填調度的基礎上，以多隊列的方式進行回填調度，并且提供了隊列級別的負載均衡，主要用于解決由于多隊列的劃分造成的作業等待與資源浪費的問題，平衡各隊列間的負載，同時提供了改進方案：動態選擇閾值策略與優化遷移策略。

2.根據權利要求1所述的面向生物基因測序計算任務的多隊列回填作業調度方法，其特征在于：所述步驟S1中：記waitList為作業等待隊列，runList為作業運行隊列，resList為作業預約隊列；系統資源集合為R，其中包含系統的計算節點；進行作業調度的具體流程如下：

S11:按照作業的提交時間順序，提取waitList中的第一個作業i；

S12:判斷作業i能否在R中直接運行：即在當前的系統資源中，能夠找到滿足當前作業資源需求的節點，也就是說該節點擁有的空閑資源(CPU以及內存)大于作業運行需要的資源；若節點已預約作業，則還需判斷將該作業分配到這個節點上運行是否影響已預約的作業；

S13:若作業i不能直接運行，判斷能否對i進行預約，即在R中尋找節點為i進行資源預留；

所述步驟S13中規定每個節點最多有一個作業預約；如果還有節點未預約作業，則可以進行作業預約，進入作業預約步驟；

S14:若作業i能夠在某個節點上運行，則可以將該作業進行回填，進入作業回填步驟；

S15:若不能對該作業i進行預約或者回填，則遍歷waitList，提取下一個作業，返回至S12繼續執行。

3.根據權利要求2所述的面向生物基因測序計算任務的多隊列回填作業調度方法，其特征在于：所述步驟S12中判斷不對預約作業造成影響的標準為：該作業在預約作業執行之前結束，或者該作業需求的資源小于預約作業執行后節點的空閑資源。

4.根據權利要求2所述的面向生物基因測序計算任務的多隊列回填作業調度方法，其特征在于：所述作業預約步驟流程為：

step₁:計算作業i所需的資源：計算該作業運行需要的CPU核數、最大內存以及預計運行時間；

step₂:遍歷R的節點列表，計算未預約作業的節點能夠運行作業i的最早時間；

在這些節點中，隨著已運行作業的完成，節點中剩余的空閑資源越來越多，節點空閑資源開始大于該作業需求資源的時刻，即能夠運行該作業的最早時間；

step₃:比較各節點能夠運行作業i最早時間，獲取這個時間最小的節點；

step₄:選擇該節點為預約作業i的節點，將作業從waitList移動至resList，在節點上為作業預留資源，即將作業需求的資源預先分配到節點上，記錄能夠運行該作業的最早時間；

step₅:返回主程序。

5.根據權利要求2所述的面向生物基因測序計算任務的多隊列回填作業調度方法，其特征在于：所述作業回填步驟流程為：

(1):計算作業i所需的資源；

(2):遍歷R的節點列表：遍歷節點列表之前，首先將節點列表按節點的CPU負載大小排序，即按照節點當前的CPU利用率排序，將節點按照CPU負載排序，能夠保證作業優先在負載較低的節點上運行，有利于系統的負載均衡；

(3):獲取負載最小的節點，將作業i回填至該節點，在節點上為作業分配資源，將作業從waitList移動至runList；

(4):返回主程序。