[發明專利]深度神經網絡模型并行模式選擇方法

有效

• 申請號: 201910897718.8
• 申請日: 2019-09-23
• 公開（公告）號: CN112541584B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 劉鑫;劉沙;彭超;朱傳家;陳德訓;黃則強;陸旭峰;裴陽
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種深度神經網絡模型并行模式選擇方法，包括以下步驟：S1、測算整個神經網絡模型的總數據量；S2、判斷S1中獲得的神經網絡模型的總數據量是否超過進行訓練的單個計算節點的可用內存總量，如果不超過，執行S3，如果超過，執行S4；S3、選擇數據并行模式；S4、將神經網絡模型的網絡層進行切分，根據切分的結果，得到神經網絡模型所需要分布的計算節點數量，如果輸入參數中的計算節點數量不足模型切分所需節點數量兩倍以上，執行S5，否則執行S6；S5、選擇模型并行模式；S6、選擇包括數據并行和模型并行的混合并行模式。本發明通過對模型參數、超參數和數據量的信息采集和分析，實現分布式擴展并行模式的自動選擇，并且保證較高的并行性能。

技術領域

本發明涉及一種深度神經網絡模型并行模式選擇方法，屬于深度學習技術領域。

背景技術

數據并行模式的分布式訓練在每個計算節點上都存儲一個模型的備份，在各臺計算節點上處理數據集的不同部分，數據并行模式訓練方法需要組合各個工作節點的結果，并且在節點之間同步模型參數。模型并行模式的分布式訓練將神經網絡模型的不同網絡層分配到不同的計算節點，或者將同一層內部的不同參數分配到不同計算節點，不同計算節點負責網絡模型不同部分的訓練。混合并行模式是在進行分布式訓練的一批計算節點中既有模型并行又有數據并行，例如可以在一組節點上采用模型并行模式，在各組節點之間采用數據并行。

近年來，隨著深度學習技術的發展，各種深度神經網絡模型不斷涌現。隨著網絡模型種類的逐漸增多，網絡深度也從幾層擴大到成百上千層。雖然深層次的網絡大大提高了精確率，但也使得網絡模型參數越來越多、訓練時間越來越長，成為深度學習技術快速發展和廣泛應用的一大阻礙。要完成超大規模神經網絡以及超大規模數據的訓練，靠單個計算節點是行不通的，必須依靠分布式并行擴展的支撐。目前深度學習分布式并行擴展模式主要包括數據并行、模型并行以及混合并行，然而，如何選擇適合的并行模式，成為本領域技術人員努力的方向。

發明內容

本發明的目的是提供一種深度神經網絡模型并行模式選擇方法，該深度神經網絡模型并行模式選擇方法通過對模型參數、超參數和數據量的信息采集和分析，實現分布式擴展并行模式的自動選擇，并且保證較高的并行性能。

為達到上述目的，本發明采用的技術方案是：一種深度神經網絡模型并行模式選擇方法，人工智能訓練任務的輸入參數包括神經網絡模型文件、計算節點數量和單個訓練樣本數據大小，所述神經網絡模型文件包含batch_size、模型參數的數量和數據類型；

所述并行模式選擇方法包括以下步驟：

S1、人工智能框架中的分布式擴展組件根據神經網絡模型的參數數量和數據類型，測算整個神經網絡模型的參數數據量，根據輸入參數中單個訓練樣本數據大小和神經網絡模型文件中的batch_size大小，計算得到輸入數據的數據量，參數數據量和輸入數據的數據量之和為神經網絡模型的總數據量；

S2、分布式擴展組件判斷S1中獲得的神經網絡模型的總數據量是否超過進行訓練的單個計算節點的可用內存總量，如果不超過，執行S3，如果超過，執行S4；

S3、選擇數據并行模式，分布式擴展組件根據輸入參數中的計算節點數量，將訓練樣本分為與計算節點數量相同的若干份，各計算節點使用各自的樣本數據進行訓練，并在計算節點之間傳遞梯度數據，共同完成訓練；

S4、將神經網絡模型的網絡層進行切分，將網絡層分為若干部分，每個部分的模型參數分布在一個計算節點上，根據切分的結果，得到神經網絡模型所需要分布的計算節點數量，如果輸入參數中的計算節點數量不足模型切分所需節點數量兩倍以上，執行S5，否則執行S6，其中，切分的具體方法為：從網絡層的起始層開始，選擇連續的最大數量的若干層作為一部分，使得此若干層的數據量之和不超過計算節點的可用內存總量，如果某單個網絡層的數據量超過計算節點的可用內存總量，則將該網絡層按計算節點的可用內存總量分為若干部分；