[發明專利]一種基于數據集與節點緩存的調度方法和裝置

有效

• 申請號: 202010923074.8
• 申請日: 2020-09-04
• 公開（公告）號: CN112202837B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 王德奎;陳培
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L67/1042
• 分類號: H04L67/1042;H04L67/1001;H04L67/5682;G06F9/50
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 李紅蕭;張騰

本發明公開了一種基于數據集與節點緩存的調度方法，包括：獲取每個主機節點的存儲資源信息；響應于接收到訓練任務，獲取訓練任務的運行信息，根據運行信息和存儲資源信息篩選滿足訓練任務所需空間的主機節點；響應于所有主機節點都不滿足訓練任務所需的空間，根據存儲資源信息對每個主機節點打分；根據打分的結果在所有主機節點中選擇用于執行訓練任務的待執行主機節點；獲取并刪除待執行主機節點中的廢棄數據集緩存，并在待執行主機節點中執行訓練任務。本發明還公開了一種相應的裝置。本發明可以有效地將訓練任務運行在存儲空間暫時不足的節點。

技術領域

本發明涉及計算機技術領域，更具體地，特別是指一種基于數據集與節點緩存的調度方法和裝置。

背景技術

在AI場景下，訓練任務對數據集有很強的依賴，例如數據集的質量會影響模型的準確度，訓練腳本加載數據集的速度會影響的模型的訓練速度。AI訓練使用的數據集通常為開源的數據集，例如ImageNet數據集、MNIST數據集等，或者是行業相關的數據集，例如醫療、交通等，對于AI資源管理平臺，通常無法對數據集的質量進行評估，需要算法人員保證。通常算法人員在啟動訓練任務時，通常需要手動將這些數據下載到節點，才能啟動訓練任務，但是對于AI資源管理平臺通常會將手動下載數據集優化為自動下載數據集，在啟動訓練任務時，AI的資源管理平臺都會為訓練任務自動下載需要的數據集。作為AI資源管理平臺，會為算法人員提供多種數據集，并將這些數據集根據訓練任務的需要緩存到計算節點，但是由于節點的存儲資源有限，可能會出現以下問題：

問題1、進行資源調度時，如果將較多的使用大數據集的任務調度到相同的節點，會導致節點的存儲資源不足，可能會出現節點存儲資源較少，但是CPU、內存空閑較多的問題；

問題2、集群的全部計算節點可能同時緩存了大量的不再使用的數據集緩存，導致節點存儲資源不足，當進行資源調度的時候，可能發現沒有合適的節點用于緩存數據集。

發明內容

有鑒于此，本發明實施例的目的在于提供一種基于數據集與節點緩存的調度策略，在滿足訓練任務使用本地數據集緩存的前提下，可以達到集群節點存儲資源負載均衡的效果。

基于上述目的，本發明一方面提供了一種基于數據集與節點緩存的調度方法，該方法包括：

獲取每個主機節點的存儲資源信息；

響應于接收到訓練任務，獲取訓練任務的運行信息，根據運行信息和存儲資源信息篩選滿足訓練任務所需空間的主機節點；

響應于所有主機節點都不滿足訓練任務所需的空間，根據存儲資源信息對每個主機節點打分；

根據打分的結果在所有主機節點中選擇用于執行訓練任務的待執行主機節點；

獲取并刪除待執行主機節點中的廢棄數據集緩存，并在待執行主機節點中執行訓練任務。

在本發明的基于數據集與節點緩存的調度方法的一些實施方式中，方法還包括：

判斷各個主機節點中是否包含訓練任務所需的數據集緩存；

響應于判斷有主機節點中存在數據集緩存，在包含數據集緩存的主機節點中選擇執行訓練任務的主機節點。

在本發明的基于數據集與節點緩存的調度方法的一些實施方式中，響應于接收到訓練任務，獲取訓練任務的運行信息，根據運行信息和存儲資源信息篩選滿足訓練任務所需空間的主機節點還包括：

響應于在主機節點中篩選出若干滿足訓練任務所需的空間的待定主機節點；

基于調度策略在待定主機節點中選擇執行訓練任務的主機節點。

在本發明的基于數據集與節點緩存的調度方法的一些實施方式中，獲取每個主機節點的存儲資源信息還包括：