[發明專利]一種任務調度方法、裝置及系統

有效

• 申請號: 201310706764.8
• 申請日: 2013-12-19
• 公開（公告）號: CN103699445B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 許立劍;龔林洪;楊根星;吳杰珂
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙)11413
• 代理人: 項京,馬敬

技術領域

本發明涉及計算機應用技術領域，特別涉及一種任務調度方法、裝置及系統。

背景技術

在分布式計算系統中，通常使用物理機或虛擬機作為計算單元，稱為計算節點。每個計算節點中擁有多種計算資源類型，如中央處理器CPU（Central?Processing?Unit）、內存、硬盤、網絡帶寬等。另外，在分布式計算系統中，將一系列計算任務的集合稱為計算框架，每個計算框架對應一個或一組特定的功能，例如，用于統計用戶行為的計算框架、用于進行視頻轉碼的計算框架，等等。

任務調度的作用是將這些計算資源公平地分配給各個計算框架下的各個計算任務，使得每個任務都盡可能快地完成，同時高優先級的任務能夠更優先完成。

現有技術中，一種實現任務調度方法是指定一個計算節點可以運行幾個任務，然后將任務無差別地分配到這些計算節點上。

然而，在實際應用中，不同計算任務所需的計算資源不同，比如視頻轉碼任務需要更多的CPU，圖像處理任務需要更多內存，應用上述將任務無差別的分配到計算節點的方法，就會出現一個計算節點只有單一種類任務的情況，比如都是內存占用較多的任務，CPU就可能處于空閑狀態，計算資源分配不合理。

發明內容

本發明實施例的目的在于提供一種任務調度方法、裝置及系統，解決現有技術中計算資源分配不合理的問題。

為達到上述目的，本發明實施例公開了一種任務調度方法，包括：

獲得各個計算節點的計算資源信息，根據該信息，將空閑計算資源分配給各個計算框架，其中，所述計算節點的計算資源信息包括：該計算節點的多種類型計算資源的使用情況；

將各個計算框架所獲得的空閑計算資源，分別分配給該計算框架的任務隊列中的各個任務。

較佳的，所述將空閑計算資源分配給各個計算框架，具體包括：

計算各個計算框架當前占用各種計算資源的情況；

根據計算結果，確定各個計算框架的主計算資源；

根據各個計算框架的主計算資源的比值和預設的各個計算框架的權值的比值，將空閑計算資源分配給各個計算框架。

較佳的，所述方法還包括：

接收用戶向計算框架添加的任務后，即時將該任務添加到該計算框架的任務隊列中。

較佳的，所述接收用戶向計算框架添加的任務后，即時將該任務添加到該計算框架的任務隊列中，具體包括：

接收用戶向計算框架添加的任務后，判斷該任務的優先級，并預估該任務執行所需占用的計算資源；

根據該任務的優先級信息和所預估的該任務執行所需占用的計算資源信息，將該任務添加到其對應優先級的任務隊列。

較佳的，所述將各個計算框架所獲得的空閑計算資源，分別分配給該計算框架的任務隊列中的各個任務，具體包括：

判斷計算框架當前是否有空閑計算資源；

判斷計算框架當前有的空閑計算資源是否滿足最高優先級任務隊列中預估所需占用最少計算資源的任務x的執行；

如果計算框架當前有空閑計算資源、且這些計算資源滿足任務x的執行，將當前的空閑計算資源分配給任務x；

如果計算框架當前沒有空閑計算資源或者這些計算資源不滿足任務x的執行，在當前執行的任務中，查找比任務x優先級低的、且占用的計算資源與空閑的計算資源之和大于任務x需要的計算資源的任務，將這些任務暫?；驓⑺溃瑢⑨尫懦龅挠嬎阗Y源分配給任務x。

較佳的，所述計算框架，預留部分計算資源作為資源插槽；

所述將各個計算框架所獲得的空閑計算資源，分別分配給該計算框架的任務隊列中的各個任務，具體包括：

檢測是否有空閑的資源插槽；

檢測空閑的資源插槽否滿足最高優先級任務隊列中預估所需占用最少計算資源的任務x的執行；

如果有空閑資源插槽、且這些空閑插槽滿足任務x的執行，將空閑資源插槽分配給任務x；

如果沒有空閑資源插槽或者這些資源插槽不滿足任務x的執行，在當前執行的任務中，查找比任務x優先級低的、且占用的計算資源與空閑的資源插槽之和大于任務x需要的計算資源的任務，將這些任務暫?；驓⑺?，將釋放出的計算資源分配給任務x。

較佳的，所述方法還包括：

檢測是否有資源插槽被占用；

當有資源插槽被占用的情況下，將與占用的資源插槽等量的空閑計算資源轉換為資源插槽。

較佳的，所述方法還包括：

獲得各個計算節點各個任務當前執行需要的各種可動態增減的計算資源實際占用值信息；