[發明專利]一種作業調度方法和裝置

在審

• 申請號: 201310247590.3
• 申請日: 2013-06-20
• 公開（公告）號: CN103336714A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 何銳邦;唐會軍
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;何立春

技術領域

本發明涉及計算機網絡技術領域，具體涉及一種作業調度方法和裝置。

背景技術

云計算是一種通過計算機網絡以服務的方式提供動態可伸縮的虛擬化的資源的計算模式。云計算平臺是提供存儲和計算服務的云平臺。

利用云計算平臺提供的資源完成的計算通常稱為作業。作業的種類可分為并行程序無通信類型，和并行程序有通信類型。

對于并行程序無通信類型，該作業的每個子任務可以在任何時候啟動，不需要和其他子任務同時啟動，因為子任務間不需通信，每個子任務處理完自己的計算就可以直接結束。因此云計算平臺調度器可以在不同時間調度不同的子任務，處理這種調度需求的調度方式稱為任務級調度。

對于并行程序有通信類型，該作業的每個子任務都需要互相通信，因此需要等全部子任務都啟動以后，才能開始計算。也即需要云計算平臺當前擁有能啟動該作業的所有子任務的資源后，才能將這個作業啟動，否則，需要等到其他作業計算完畢，釋放出足夠資源，才能啟動該作業。處理這種調度需求的調度方式稱為作業級調度。

Maui是一個廣泛被使用的開源調度器，可以設置多種調度條件，常作為云計算平臺的調度器。基于Maui的云計算平臺是處理需要作業級調度的計算任務的。該平臺最常用的作業級調度方法是先進先出法和帶優先級的分組加權法。由于先進先出法很簡單，優缺點也為人熟知，因此這里不贅述。下面重點講述帶優先級的分組加權法：

1.確定分組數目N，以及每組的權重Wi,其中i∈{1…N}；

2.將云計算平臺的資源劃分成N組，每組所占資源比例等于每組的權重的比例。每組最大可使用的資源不得超過根據其比例算出來的值；

3.提交作業時需要指定運行在哪個組中，并且該作業需要的資源不能超過該組的總資源，否則提交會失敗；

4.提交計算作業時同時指定該作業的優先級，一般分為低、中、高三個優先級；

5.在同一個組內的作業，在有充足資源時，作業無論是哪個優先級，都會被立即調度運行；

6.若該組資源不充足，則會發生作業排隊情況，作業的優先級在此時發揮作用。當有空閑資源時，先運行高優先級作業，其次中優先級，最后是低優先級。優先級相同的作業按排隊時間先后來依次調度。

現有的這種帶優先級的分組加權調度方法存在如下缺點：在同一個組中，出現排隊的情況下，如果不停地有優先級比已排隊列表中最低優先級的作業優先級高的作業提交，那么這些最低優先級的作業將會餓死，即永遠得不到執行的機會。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種作業調度方法和裝置。

依據本發明的一個方面，提供了一種作業調度方法，該方法包括：

將云計算平臺的資源劃分成N組，將提交的作業按照提交時的指定分配到對應的組中；其中N為自然數；每個作業在運行時利用對應組的資源；

對于每一組，

如果該組的資源能夠滿足提交到該組的全部作業的需求，則直接調度該組中的全部作業；

如果該組的資源不能夠滿足提交到該組的全部作業的需求，則將提交到該組的作業放入該組的隊列中排隊等候，并根據該組中各作業的優先級和排隊等候時間進行調度。

可選地，所述根據該組中各作業的優先級和排隊等候時間進行調度包括：

為該組中的各作業設置優先級權值，優先級越高，優先級權值越大；

為該組中的各作業設置等候時間權值，等候時間越長，等候時間權值越大；

優先級權值與等候時間權值的和為作業的綜合權值；

優先調度該組中綜合權值大的作業。

可選地，該方法進一步包括：對于每一組，

如果該組隊列中存在預估運行時間不會將該組下一個需要調度的作業的運行時間推遲的作業，則優先調度該作業；

其中，作業的預估運行時間是在作業提交時便攜帶的。

可選地，該方法進一步包括：如果一個作業的運行時間超過了其預估運行時間，則結束該作業的運行。

可選地，該方法進一步包括：對于周期性的實時作業，在其周期性的執行時間窗為該作業預留所需資源；

如果在其周期性的執行時間窗內該周期性的實時作業沒有啟動，則不再為其預留所需資源。

依據本發明的另一方面，提供了一種作業調度裝置，該裝置包括：分組單元和按權值調度單元；