[發明專利]分布式深度學習推理云平臺任務調度方法

有效

• 申請號: 202010865843.3
• 申請日: 2020-08-25
• 公開（公告）號: CN111866187B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 譚光明;馬立賢;邵恩;張春明;段勃
• 申請（專利權）人: 中科院計算所西部高等技術研究院
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/60
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 胡博文

1.一種分布式深度學習推理云平臺任務調度方法，其特征在于：包括以下步驟：

S1.將用戶在云平臺上創建的任務輸入任務隊列中；

S2.任務控制器從任務隊列中提取目標任務，并將目標任務對應的服務分割成若干子服務進行分布式處理；

S3.并行模式選擇器根據子服務生成相應的模型；

S4.任務執行器根據并行模式選擇器所產生的模型執行對應的子服務；

并行模式選擇器基于Q-learning算法選擇并行參數并生成相應的模型，具體如下：

基于任務完成時間T、加速卡利用率U以及加速卡現存使用量M構建獎勵函數Reward：

Reward＝μ₁N(T_m-T)+μ₂N(U_m-U)+μ₃N(M_m-M)；

其中，μ₁、μ₂和μ₃均為調整系數,N(·)為歸一化函數；

構建狀態集S，其中，狀態集S由推理平均準確率A、推理任務完成時間T、加速卡利用率U和加速卡現存使用量M構成；

構建動作集A，該動作集表示并行參數的選擇，包括數據并行度(1，2，4，8，16，32)，模型并行度(1，2，4，8，16，32)，batch size(1，4，8，16，32，64，128)；

構建獎勵矩陣R：獎勵矩陣R中相同行不同列設置為動作集，不同行相同列設置為狀態集；由于相同的并行參數在一次任務中只能選擇一次，對狀態轉移進行限制，當狀態不可轉移時設置為0，可轉移時設置為1；

Q值表訓練：采用多個典型的并行模型對Q值表進行訓練，其中，Q值表的更新公式為：

Q_t+1＝r_t+γmaxQ_t(s',a')；γ為折扣因子，r_t為當前所獲得的實際獎勵，s'表示下一個狀態，a'表示下一個動作；

在Q值表訓練完成后，并行模式選擇器根據子服務在訓練好的Q指標中尋找滿足獎勵函數的最優路徑，并通過此路徑的動作集參數確定當前資源狀態下的并行模型。

2.根據權利要求1所述分布式深度學習推理云平臺任務調度方法，其特征在于：步驟S2中，在任務控制器從任務隊列中提取目標任務前，由資源監控器判斷當前是否可執行任務：

若當前集群資源無空閑或者空閑資源較低，那么任務隊列中的任務將處于等待狀態；

若當前集群資源具有空余并滿足任務執行需求時，則判斷當前可執行任務。

3.根據權利要求2所述分布式深度學習推理云平臺任務調度方法，其特征在于：任務控制器提取目標任務具體如下：

當前可執行任務時，任務控制器從任務隊列中選擇最先進入到任務隊列的任務作為目標任務。

4.根據權利要求1所述分布式深度學習推理云平臺任務調度方法，其特征在于：步驟S2中，任務控制器判斷目標任務是否具有對應的服務，若不存在，則創建目標任務的服務。