[發明專利]一種分布式資源調度方法及裝置

在審

• 申請號: 201910330310.2
• 申請日: 2019-04-23
• 公開（公告）號: CN110187960A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 魏千洲;張東波;秦昊;楊瑞;凌翔;劉智;林利彬;張昱;王曉旭;郭旭
• 申請（專利權）人: 廣東省智能制造研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 廣州容大專利代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明涉及一種分布式資源調度方法及裝置。所述方法包括步驟：將分布式計算系統待完成的總任務劃分為多個可并行處理的子任務；估算完成各所述子任務所需要的第一硬件資源；獲取分布式計算系統的節點列表，并獲取各個節點當前剩余可使用的第二硬件資源，將所述第一硬件資源與所述第二硬件資源進行比較，為各所述子任務分配最適合處理的節點及硬件資源；更新分布式計算系統的節點列表中各節點當前剩余可使用的第二硬件資源列表。本發明能夠有效地根據任務將分布式系統的資源進行分配，避免大規模資源浪費，提高任務執行效率，縮短任務完成時間。

技術領域

本發明涉及分布式計算技術領域，尤其是涉及一種分布式資源調度方法及裝置。

背景技術

作為信息領域研究熱點的分布式計算，主要是通過計算機網絡或互聯網連接大量的資源，為不同的用戶提供存儲和計算等各種服務。分布式計算面對的計算任務龐大，任務調度和資源分配問題成為分布式計算效率的關鍵，針對用戶對分布式計算平臺的不同的任務需求，要求分布式計算服務提供商能夠制定合適的服務策略。

發明人在研究中發現，傳統技術中的分布式系統中集群節點數量龐大，資源利用率低，定制的任務對資源的需求不同，任務之間往往也出現搶資源的問題，不適當的資源分配會造成任務完成時間過長，也會造成大規模的資源浪費。

發明內容

有鑒于此，有必要針對上述的問題，提供一種分布式資源調度方法及裝置，能夠有效地根據任務將分布式系統的資源進行分配，避免大規模資源浪費，提高任務執行效率，縮短任務完成時間。

一種分布式資源調度方法，包括：

將分布式計算系統待完成的總任務劃分為多個可并行處理的子任務；

估算完成各所述子任務所需要的第一硬件資源；

獲取分布式計算系統的節點列表，并獲取各個節點當前剩余可使用的第二硬件資源，將所述第一硬件資源與所述第二硬件資源進行比較，為各所述子任務分配最適合處理的節點及硬件資源；

更新分布式計算系統的節點列表中各節點當前剩余可使用的第二硬件資源列表。

所述將分布式計算系統待完成的總任務劃分為多個可并行處理的子任務的步驟，包括：

將分布式計算系統待完成的總任務劃分為多個可并行處理的子任務，并確定各所述子任務的優先級。

所述將所述第一硬件資源與所述第二硬件資源進行比較，為各所述子任務分配最適合處理的節點及硬件資源的步驟，包括：

根據各所述子任務的優先級的先后順序，將所述第一硬件資源與所述第二硬件資源進行比較，為各所述子任務分配最適合處理的節點及硬件資源。

所述第一硬件資源和所述第二硬件資源至少包括CPU資源、內存資源和GPU資源。

所述方法包括：

將所述第一硬件資源與所述第二硬件資源進行比較時，為所述CPU資源、所述內存資源和所述GPU資源設置不同的比較權重。

一種分布式資源調度裝置，包括：

任務劃分模塊，用以將分布式計算系統待完成的總任務劃分為多個可并行處理的子任務；

硬件資源估算模塊，用以估算完成各所述子任務所需要的第一硬件資源；

硬件資源比較模塊，用以獲取分布式計算系統的節點列表，并獲取各個節點當前剩余可使用的第二硬件資源，將所述第一硬件資源與所述第二硬件資源進行比較，為各所述子任務分配最適合處理的節點及硬件資源；

硬件資源列表更新模塊，用以更新分布式計算系統的節點列表中各節點當前剩余可使用的第二硬件資源列表。