[發明專利]一種基于數據集與節點緩存的調度方法和裝置

有效

• 申請號: 202010923074.8
• 申請日: 2020-09-04
• 公開（公告）號: CN112202837B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 王德奎;陳培
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1042
• 分類號: H04L67/1042;H04L67/1001;H04L67/5682;G06F9/50
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 李紅蕭;張騰

1.一種基于數據集與節點緩存的調度方法，其特征在于，所述方法包括：

獲取每個主機節點的存儲資源信息；

響應于接收到訓練任務，獲取所述訓練任務的運行信息，根據所述運行信息和所述存儲資源信息篩選滿足所述訓練任務所需空間的主機節點；

響應于所有所述主機節點都不滿足所述訓練任務所需的空間，根據所述存儲資源信息對每個所述主機節點打分；

根據所述打分的結果在所有所述主機節點中選擇用于執行所述訓練任務的待執行主機節點；

獲取并刪除所述待執行主機節點中的廢棄數據集緩存，并在所述待執行主機節點中執行所述訓練任務。

2.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述方法還包括：

判斷各個所述主機節點中是否包含所述訓練任務所需的數據集緩存；

響應于判斷有所述主機節點中存在所述數據集緩存，在包含所述數據集緩存的所述主機節點中選擇執行所述訓練任務的所述主機節點。

3.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述響應于接收到訓練任務，獲取所述訓練任務的運行信息，根據所述運行信息和所述存儲資源信息篩選滿足所述訓練任務所需空間的主機節點還包括：

響應于在所述主機節點中篩選出若干滿足所述訓練任務所需的空間的待定主機節點；

基于調度策略在所述待定主機節點中選擇執行所述訓練任務的所述主機節點。

4.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述獲取每個主機節點的存儲資源信息還包括：

在集群內部署Kubernete集群，基于Kubernete集群獲取所述主機節點的存儲資源信息。

5.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述方法還包括：

監測所述主機節點中的所述存儲資源信息是否發生變化；

響應于監測到所述主機節點中的所述存儲資源信息發生變化，實時上報變化后的所述存儲資源信息。

6.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述響應于所有所述主機節點都不滿足所述訓練任務所需的空間，根據所述存儲資源信息對每個所述主機節點打分還包括：

獲取每個所述主機節點中所有數據集緩存的使用頻率，根據所述使用頻率獲取所有所述數據集緩存中的所述廢棄數據集緩存，根據所述廢棄數據集緩存對所述主機節點打分。

7.根據權利要求1所述的基于數據集與節點緩存的調度方法，其特征在于，所述響應于所有所述主機節點都不滿足所述訓練任務所需的空間，根據所述存儲資源信息對每個所述主機節點打分還包括：

判斷每個所述主機節點中的每個數據集緩存的大小，將小于預設大小閾值的所述數據集緩存作為所述廢棄數據集緩存，根據所述廢棄數據集緩存對所述主機節點打分。

8.一種基于數據集與節點緩存的調度裝置，其特征在于，所述裝置包括：

存儲資源信息獲取模塊，所述存儲資源信息獲取模塊配置為獲取每個主機節點的存儲資源信息；

主機節點篩選模塊，所述主機節點篩選模塊配置為響應于接收到訓練任務，獲取所述訓練任務的運行信息，根據所述運行信息和所述存儲資源信息篩選滿足所述訓練任務所需空間的主機節點；

主機節點打分模塊，所述主機節點打分模塊配置為響應于所有所述主機節點都不滿足所述訓練任務所需的空間，根據所述存儲資源信息對每個所述主機節點打分；

主機節點選定模塊，所述主機節點選定模塊配置為根據所述打分的結果在所有所述主機節點中選擇用于執行所述訓練任務的待執行主機節點；

訓練任務執行模塊，所述訓練任務執行模塊配置為獲取并刪除所述待執行主機節點中的廢棄數據集緩存，并在所述待執行主機節點中執行所述訓練任務。