[發明專利]基于設備均衡原理的分布式模型并行設備分配優化方法

有效

• 申請號: 202110358526.7
• 申請日: 2021-04-02
• 公開（公告）號: CN113052332B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 張澤超;胡冰
• 申請（專利權）人: 浙江大學;之江實驗室
• 主分類號: G06N20/20
• 分類號: G06N20/20;H04L67/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于設備均衡原理的分布式模型并行設備分配優化方法。通過分析機器學習網絡各個網絡層的計算量、通信量和內存使用量，結合機器學習訓練平臺計算能力、內存容限、通信帶寬等參數建立線性規劃模型，以不同設備上的計算量和內存使用量均衡以及最小化跨設備通信為優化目標，建立線性規劃模型并求解，得到最符合設備均衡原理的分布式模型并行設備分配方案，達到提高機器學習網絡模型訓練速度的目的。本發明方法為大規模分布式機器學習提供了模型并行加速方案，在深度學習訓練中能夠大幅減少訓練時間。

技術領域

本發明屬于分布式機器學習技術領域的一種模型并行的數據分配處理方法，涉及了一種基于設備均衡原理的分布式模型并行設備分配優化方法。

背景技術

分布式機器學習訓練中最常見的分布式策略是數據并行(Data Parallelism)，它將整個網絡模型復制并保存在每個并行設備上，并將訓練數據的不同子集分配給每個設備。另一種方法是模型并行(Model Parallelism)，它將網絡參數劃分為不相交子集，并在不同設備上訓練這些子集。也有一些工作中使用混合并行的方式，每一個數據并行節點都由一個以上的訓練設備組成，在這些設備上使用模型并行分割網絡參數。研究表明，混合并行訓練在最小化訓練時間方面比單獨使用數據并行更有效。

為了找到最佳分布式模型并行設備分配，最常見的方案是通過網絡參數和硬件環境建立線性規劃模型，估計模型訓練的端到端訓練時間，然后通過枚舉或是一些優化方案測試不同模型并行設備分配對應的端到端訓練時長，選取最佳的并行設備分配。但由于在估計網絡模型各個網絡層的執行時間時存在估計誤差，使用這樣的方案往往只能得到次優并行化性能。因此需要找到一種不同的思路來求解最佳分布式模型并行設備分配。

發明內容

本發明所提供的一種基于設備均衡原理的分布式模型并行設備分配優化方法，可以針對不同的機器學習網絡模型和硬件環境，通過分析機器學習網絡各個網絡層的計算量、通信量和內存使用量，結合機器學習訓練設備的計算能力、內存容限、通信帶寬等參數，以最小化模塊均衡因子和跨設備通信因子為優化目標建立線性規劃模型，通過線性規劃軟件ILOG CPLEX Optimization Studio進行模型求解，得到最符合設備均衡原理的分布式模型并行設備分配。

為了實現上述目的，本發明采用以下技術方案：

對機器學習網絡模型進行網絡模塊劃分；

建立線性規劃模型，線性規劃模型中包含了目標函數和約束條件；

根據機器學習網絡模型各個網絡層的計算量、通信量和內存使用量，以最小化目標函數，對線性規劃模型求解，得到對于機器學習網絡模型的最符合設備均衡原理的分布式模型并行設備分配結果。

本發明的機器學習網絡模型實際上是一種分布式模型。

本發明通過分析機器學習網絡模型各個網絡層的計算量、通信量和內存使用量，結合機器學習訓練設備的計算能力、內存容限、通信帶寬等參數，以最小化模塊均衡因子和跨設備通信為優化目標建立線性規劃模型，通過線性規劃軟件進行線性規劃模型求解，得到最符合設備均衡原理的模型并行方案。

所述的機器學習網絡模型通常用于圖片分類、人臉識別、圖像處理、點云數據處理等。

所述的線性規劃模型中，先設置包含有優化自變量的模型參數，所述的模型參數包含了跨設備通信因子、模塊均衡因子和通信權重系數；其中的模塊均衡因子主要由計算均衡因子和內存均衡因子共同計算而獲得。然后根據模型參數建立的目標函數。

所述優化自變量，具體為：