[發明專利]一種深度學習業務的任務調度方法及相關裝置

在審

• 申請號: 202111162810.3
• 申請日: 2021-09-30
• 公開（公告）號: CN113590301A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 王超
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉芬

1.一種深度學習業務的任務調度方法，其特征在于，包括：

通過硬件資源拓撲插件對服務器進行資源拓撲關系提取，得到硬件資源拓撲關系；

確定獲取到的待調度任務的任務類型；

根據所述任務類型對所述硬件資源拓撲關系進行資源組合匹配，得到多個硬件資源節點；

基于所述多個硬件資源節點進行任務調度。

2.根據權利要求1所述的任務調度方法，其特征在于，基于所述多個硬件資源節點進行任務調度，包括：

判斷多個numa節點中是否保存有所述待調度任務對應的任務資源；

若是，則基于保存有所述任務資源的numa節點進行任務調度。

3.根據權利要求2所述的任務調度方法，其特征在于，判斷多個numa節點中是否保存有所述待調度任務對應的任務資源，包括：

確定所述待調度任務的任務資源信息；

判斷所述多個numa節點的內存中是否保存有所述任務資源信息對應的任務資源；其中，所述任務資源包括數據集或計算模型。

4.根據權利要求2所述的任務調度方法，其特征在于，還包括：

當所述多個numa節點中未保存所述待調度任務對應的任務資源，將所述任務資源緩存至任一numa節點；

基于所述任一numa節點進行任務調度。

5.根據權利要求1所述的任務調度方法，其特征在于，通過硬件資源拓撲插件對服務器進行資源拓撲關系提取，得到硬件資源拓撲關系，包括：

將numa拓撲插件加載至所述服務器中；

通過所述numa拓撲插件的查詢指令進行查詢，得到GPU-CPU拓撲關系和CPU-Memory拓撲關系；

將所述GPU-CPU拓撲關系和所述CPU-Memory拓撲關系，作為numa拓撲關系；其中，所述硬件資源拓撲關系為所述numa拓撲關系。

6.根據權利要求1所述的任務調度方法，其特征在于，確定獲取到的待調度任務的任務類型，包括：

獲取所述待調度任務；

確定所述待調度任務的任務類型；其中，所述任務類型包括訓練任務和推理任務。

7.根據權利要求1所述的任務調度方法，其特征在于，還包括：

當接收到數據清理命令，根據所述數據清理命令確定目標numa節點；

對所述目標numa節點的內存進行數據清理。

8.根據權利要求1所述的任務調度方法，其特征在于，還包括：

對每個numa節點進行調度情況記錄，得到調度次數和數據擊中次數；

基于所述調度次數和所述數據擊中次數對每個所述numa節點進行使用熱度計算，得到熱度分值；

按照預設周期將所述熱度分值小于預設分值的numa節點的內存進行數據清理。

9.一種深度學習業務的任務調度裝置，其特征在于，包括：

資源拓撲獲取模塊，用于通過硬件資源拓撲插件對服務器進行資源拓撲關系提取，得到硬件資源拓撲關系；

任務類型獲取模塊，用于確定獲取到的待調度任務的任務類型；

資源組合匹配模塊，用于根據所述任務類型對所述硬件資源拓撲關系進行資源組合匹配，得到多個硬件資源節點；

任務調度模塊，用于基于所述多個硬件資源節點進行任務調度。

10.一種服務器，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至8任一項所述的任務調度方法的步驟。

11.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至8任一項所述的任務調度方法的步驟。