[發明專利]模型并行訓練任務負載均衡方法、裝置、設備及存儲介質

有效

• 申請號: 202010597645.3
• 申請日: 2020-06-28
• 公開（公告）號: CN111752713B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王麗;高開;曹芳;郭振華
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F15/78;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郄晨芳

1.一種模型并行訓練任務負載均衡方法，其特征在于，包括：

獲取目標模型中各個網絡層的數據通信量和理論計算量；

確定各個計算設備的理論算力，并根據所述理論算力和所述理論計算量得到各個所述計算設備對應的初始計算量；

根據所述初始計算量，采用多種設備臨界層位置劃分規則進行負載均衡操作，得到多個初始均衡方案；

統計所述初始均衡方案對應的時間性能參數，并根據所述時間性能參數在所述初始均衡方案中確定中間均衡方案；

根據所述數據通信量對所述中間均衡方案進行調整，得到最終均衡方案；

所述根據所述初始計算量，采用多種設備臨界層位置劃分規則進行負載均衡操作，得到多個初始均衡方案，包括：

按照網絡層順序，根據所述初始計算量為各個所述計算設備劃分所述網絡層，并進行設備臨界層檢測；

當檢測到所述設備臨界層時，將所述設備臨界層劃分給前序計算設備，得到第一均衡方案；其中，所述前序計算設備為所述設備臨界層對應的前序網絡層所屬的所述計算設備；

當檢測到所述設備臨界層時，將所述設備臨界層劃分給后序計算設備，得到第二均衡方案；其中，所述后序計算設備為所述設備臨界層對應的后序網絡層所屬的所述計算設備；

將所述第一均衡方案和所述第二均衡方案確定為所述初始均衡方案。

2.根據權利要求1所述的模型并行訓練任務負載均衡方法，其特征在于，所述統計所述初始均衡方案對應的時間性能參數，并根據所述時間性能參數在所述初始均衡方案中確定中間均衡方案，包括：

統計所述初始均衡方案中各個所述計算設備對應的計算時長，并利用所述計算時長計算所述初始均衡方案對應的時間平均值和時間標準差，得到所述時間性能參數；

判斷所述時間平均值是否小于第一閾值且所述時間標準差是否小于第二閾值；

若是，則將所述初始均衡方案確定為候選均衡方案；

當所述候選均衡方案的數量為一時，確定所述候選均衡方案為所述中間均衡方案；

當所述候選均衡方案的數量不為一時，按照預設選擇規則在所述候選均衡方案中選擇所述中間均衡方案。

3.根據權利要求1所述的模型并行訓練任務負載均衡方法，其特征在于，所述根據所述數據通信量對所述中間均衡方案進行調整，得到最終均衡方案，包括：

根據所述數據通信量和各個所述計算設備的網絡層通信速度，得到各個所述計算設備的通信時長，并利用所述通信時長和計算時長得到所述計算設備對應的總時長；

確定最大總時長，并將所述中間均衡方案中所述最大總時長對應的目標計算設備進行網絡層劃分優化處理，得到優化均衡方案；

將所述優化均衡方案確定為所述中間均衡方案，并更新優化次數；

當所述優化次數達到預設優化次數閾值時，將所述中間均衡方案確定為所述最終均衡方案。

4.根據權利要求3所述的模型并行訓練任務負載均衡方法，其特征在于，所述將所述中間均衡方案中所述最大總時長對應的所述計算設備進行網絡層劃分優化處理，得到優化均衡方案，包括：

將所述目標計算設備對應的所述網絡層減少一層，并調整其他計算設備對應的所述網絡層，得到第一優化方案；

將所述目標計算設備對應的所述網絡層減少兩層，并調整其他計算設備對應的所述網絡層，得到第二優化方案；

統計所述第一優化方案對應的第一時間性能參數和所述第二優化方案對應的第二時間性能參數；

根據所述第一時間性能參數和所述第二時間性能參數，在所述第一優化方案和所述第二優化方案中確定候選優化方案；

根據所述候選優化方案對應的候選時間性能參數和所述時間性能參數，在所述候選優化方案和所述中間均衡方案中確定所述優化均衡方案。

5.根據權利要求1所述的模型并行訓練任務負載均衡方法，其特征在于，所述獲取目標模型中各個網絡層的數據通信量和理論計算量，包括：

獲取各個所述網絡層對應的參數信息和輸入輸出信息；

利用所述參數信息計算所述理論計算量，并利用所述輸入輸出信息計算所述數據通信量。