[發明專利]一種面向分布式深度學習訓練任務的高效資源分配系統

有效

• 申請號: 202110487973.2
• 申請日: 2021-05-06
• 公開（公告）號: CN113190351B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 李方舒;趙來平;曲雯毓
• 申請（專利權）人: 天津大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 張義

1.一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，包括：

初始資源配置模塊，其用于為訓練作業分配一個初始資源配置；

LAS隊列，其用于將作業按照獲得服務數升序排序；

二分類器，其用于識別LAS隊列單元內的不可預測作業是否轉變為可預測作業；

性能模型，其用于估計作業的作業完成時間JCT；

正效益隊列和負效益隊列，其用于分別放置JCT增加或減少的作業；

多級反饋隊列MLFQ，其用于針對可預測LAS隊列、不可預測LAS隊列、正效益隊列和負效益隊列，基于波達計數的隊列融合策略，將這四個隊列結合起來，生成一個綜合考慮多個因素的多級反饋隊列；

資源分配調整單元，其用于根據MLFQ隊列調整對所有作業的資源分配。

2.根據權利要求1所述的一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，以每個作業的5個指標作為輸入來設計二分類器，其中5個指標包括最大完工時間、精度、損失值、吞吐量和是否重新提交，二分類器采用機器學習算法來識別可預測作業。

3.根據權利要求1所述的一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，

所述二分類器使用K鄰近、邏輯回歸、隨機森林回歸、支持向量機、多層感知機MLP時的準確率結果。

4.根據權利要求3所述的一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，

采用組合子模型策略來預測作業的剩余步驟數目s_i和步驟處理速度q_i，使用c_i表示作業的完成時間，上述三個因子具有以下函數關系：

其中s_i和q_i分別代表作業i的剩余訓練步驟數和單個步驟的處理速度。

5.根據權利要求4所述的一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，

所述組合子模型包括用于在參數服務器系統中，對一批輸入數據的進行處理，包括前向傳播、后向傳播、數據傳輸、模型更新、數據拉取的速度模型。

6.根據權利要求5所述的一種面向分布式深度學習訓練任務的高效資源分配系統，其特征自于，

所述組合子模型包括用于來描述每個可預測作業的收斂速度的步數模型。