[發明專利]集群節點資源調度方法及裝置

在審

• 申請號: 202010075772.7
• 申請日: 2020-01-22
• 公開（公告）號: CN113157379A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 劉鋒
• 申請（專利權）人: 株式會社日立制作所
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;張博

1.一種集群節點資源調度方法，其特征在于，用于調度集群中的物理節點創建容器集群以運行用戶應用，包括：

獲取用戶應用的參數，所述用戶應用的參數包括以下至少一種：訓練數據集、期望訓練時長、應用類型、容器數目、集群中圖形處理單元GPU型號和機器學習模型；

獲取集群中每個物理節點的資源使用信息；

根據每個物理節點的資源使用信息和所述參數計算每個物理節點的分值，并根據每個物理節點的分值分配容器到各個物理節點，創建容器集群。

2.根據權利要求1所述的集群節點資源調度方法，其特征在于，物理節點的資源包括GPU、CPU、內存和磁盤；

物理節點的資源使用信息包括：GPU負載、CPU使用率、內存使用率和磁盤使用率。

3.根據權利要求2所述的集群節點資源調度方法，其特征在于，所述根據每個物理節點的資源使用信息和所述參數計算每個物理節點的分值包括：

根據所述應用類型確定每個資源的權重值；

根據每個資源的權重值和每個資源的空閑數目計算得的每個物理節點的分值。

4.根據權利要求3所述的集群節點資源調度方法，其特征在于，所述應用類型包括GPU密集型應用、CPU密集型應用和內存密集型應用，

對于GPU密集型應用，GPU權重值、CPU權重值、內存權重值和磁盤權重值的和等于1，CPU權重值大于內存權重值，GPU權重值大于CPU權重值、內存權重值和磁盤權重值的和；

對于CPU密集型應用，GPU權重值、CPU權重值、內存權重值和磁盤權重值的和等于1，內存權重值大于磁盤權重值，CPU權重值大于內存權重值，GPU權重值為0；

對于內存密集型，GPU權重值、CPU權重值、內存權重值和磁盤權重值的和等于1，CPU權重值大于磁盤權重值，內存權重值大于CPU權重值，GPU權重值為0。

5.根據權利要求3所述的集群節點資源調度方法，其特征在于，GPU的空閑數目Freegpu(i)采用以下公式計算：

Free gpu(i)＝(free GPU num(i)+∑min(free GPU memory ratio,(1-GPU usage))

其中，free GPU num(i)為物理節點的空閑的GPU數目，free GPU memory ratio為物理節點的非空閑的GPU的內存空閑率，GPU usage為物理節點的非空閑的GPU的計算負載，其中，如果GPU內存使用率超過第一閾值或者GPU計算負載超過第二閾值，則認為此GPU無空閑資源。

6.根據權利要求1所述的集群節點資源調度方法，其特征在于，所述根據每個物理節點的分值分配容器到各個物理節點包括：

根據每個物理節點的分值排序以及容器的集群角色將容器調度到不同的物理節點。

7.根據權利要求6所述的集群節點資源調度方法，其特征在于，所述根據每個物理節點的分值排序以及容器的集群角色將容器調度到不同的物理節點包括：

根據每個物理節點的物理地址、進行調度時的時間戳、容器的集群角色、物理節點的分值排序對物理節點打上標簽；

根據每個容器的集群角色和進行調度時的時間戳確定容器對應的物理節點，根據容器對應的物理節點的物理地址、容器的集群角色、進行調度時的時間戳和對應的物理節點的分值排序為容器打上標簽；

將容器標簽與物理節點標簽進行匹配，將容器調度到匹配上的物理節點并進行綁定。

8.根據權利要求1-7中任一項所述的集群節點資源調度方法，其特征在于，根據每個物理節點的資源使用信息和所述參數計算每個物理節點的分值之前，所述方法還包括：

確定所述應用類型是否為GPU密集型應用；

如果是，根據訓練數據集、期望訓練時長和GPU型號計算需要的GPU數量；

將空閑的GPU數量與需要的GPU數量比較，如果空閑的GPU數量少于需要的GPU數量，則調整期望訓練時長和訓練數據集，直到空閑的GPU數量不少于需要的GPU數量。