[發明專利]一種深度學習訓練任務的工作方法及裝置

有效

• 申請號: 201910894815.1
• 申請日: 2019-09-20
• 公開（公告）號: CN110618870B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 趙仁明;陳培
• 申請（專利權）人: 廣東浪潮大數據研究有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本發明提供了一種深度學習訓練任務的工作方法及裝置，通過根據單服務器或多服務器節點中GPU剩余資源情況為多種深度學習訓練任務類型分配GPU，達到了可以在保證GPU利用率的同時兼顧多種類深度學習訓練任務的效果。其中，所述方法包括：獲取用戶輸入的深度學習訓練任務參數；從所述任務參數中確定所述深度學習訓練任務類型，所述深度學習訓練任務類型包括：單機型、多機型；根據不同的深度學習訓練任務類型按照不同的策略進行GPU選取；根據所述GPU的位置選取與所述GPU之間通信距離最短的CPU進行工作。

技術領域

本申請涉及深度學習領域，尤其涉及一種深度學習訓練任務的工作方法及裝置。

背景技術

深度學習訓練技術是目前發展十分迅速的一項嶄新技術。隨著用于深度學習訓練業務的數據量的增加以及對于訓練速度要求的提高，對于算力的需求也在顯著增加。訓練任務對于基礎資源的需求從單服務器單GPU訓練發展到單服務器多GPU訓練以及多服務器多GPU訓練，GPU服務器集群的整體規模也在顯著提升。

作為集群中使用率較高，且相對于CPU、內存更加稀缺的資源，GPU的利用率通常決定了深度學習訓練任務的整體效率。而如何做到在保證GPU利用率的同時做到兼顧單機型任務和多機型任務成為一個亟待解決的問題，在現有技術中缺乏一種能夠解決上述問題的深度學習訓練任務的工作方法。

發明內容

為了解決現有技術存在的上述技術問題，本申請提供了一種深度學習訓練任務的工作方法及裝置，通過對單服務器節點以及多服務器節點中GPU中的剩余資源的合理分配解決了現有技術中無法在保證GPU利用率的同時做到兼顧單機型任務和多機型任務的問題。

本發明提供了一種深度學習訓練任務的工作方法，包括：

獲取用戶輸入的深度學習訓練任務參數；

從所述任務參數中確定所述深度學習訓練任務類型，所述深度學習訓練任務類型包括：單機型、多機型；

當所述任務類型為單機型時，根據所述深度學習訓練任務參數在單一服務器節點中選擇滿足所述深度學習訓練任務參數且剩余資源量最小的GPU進行工作；

當所述任務類型為多機型時，根據所述深度學習訓練任務參數先從單一服務器節點中選擇滿足所述深度學習訓練任務參數且剩余資源量最小的GPU進行工作，若不存在滿足條件的單一服務器節點，從多個服務器節點的組合中選擇滿足所述深度學習訓練任務參數且剩余資源量最小的GPU進行工作；

根據所述GPU的位置選取與所述GPU之間通信距離最短的CPU進行工作。

可選的，所述深度學習訓練任務參數包括：神經網絡模型、數據集、訓練批量大小Batch size和訓練方式。

可選的，所述根據所述深度學習訓練任務參數選擇剩余資源最小的GPU進行工作包括：

選擇滿足所述申請網絡模型、數據集和Batch size條件的剩余資源最小的GPU進行工作。

可選的，所述根據所述深度學習訓練任務參數在服務器節點中選擇滿足所述深度學習訓練任務參數且剩余資源量最小的GPU進行工作包括：

通過BestFit算法根據所述深度學習訓練任務參數計算出服務器節點中在滿足所述深度學習訓練任務參數且剩余資源量最小的GPU進行工作。

可選的，所述單機型任務包括：單機單卡型任務或單機多卡型任務。

可選的，所述多機型任務包括：多機多卡Ring-AllReduce型任務或多機多卡PS-Worker型任務。