[發明專利]通信避免方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110782183.7
• 申請日: 2021-07-12
• 公開（公告）號: CN113377546B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 肖俊敏;曹連雨
• 申請（專利權）人: 中科弘云科技（北京）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/901;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 張鴻基;馬希超

本申請的實施例提供了一種通信避免方法、裝置、電子設備和存儲介質，該方法包括：確定訓練神經網絡模型每層的計算過程的統一表達形式；基于涉及訓練神經網絡模型的計算過程的所有進程數量，將變量矩陣重復Pr次且使每個進程持有變量矩陣的1/Pc塊、參數矩陣重復Pc次且使每個進程持有參數矩陣的1/Pr塊；基于統一表達形式、變量矩陣的劃分結果以及參數矩陣的劃分結果確定訓練神經網絡模型時的通信復雜度，并調整Pc和Pr使得通信復雜度最優，以通信復雜度最優的方式來進行通信。本申請能夠有效減少處理器間通信量。

技術領域

本申請的實施例涉及通信技術領域，尤其涉及一種通信避免方法、裝置、電子設備和存儲介質。

背景技術

目前神經網絡模型訓練的算法研究已得到了發展，但是其通信優化仍是研究難點，也是提升計算性能的關鍵。由于神經網絡模型訓練涉及大量數據樣本傳輸與模型參數更新，因此處理器間的數據傳輸十分頻繁。

一方面，為了減少處理間的分布式通信開銷，目前最具代表性的方法有“量化”、“剪枝”和“梯度壓縮”等。這些方法的核心思想是通過減少每次通信中發送數據的大小來降低通信量。雖然它們在目前的模型訓練中被廣泛采用，但是這些方法都會或多或少地以犧牲計算精度為代價，并且有時需要某些特殊的預處理來保證模型的準確性。

另一方面，為了獲得更高的計算效率，“數據并行”、“模型并行”等多種并行策略被陸續提出，并得到了深入的研究。研究的重點主要關注的是通過尋找計算操作與通信操作的最佳適配來重疊通信與計算、掩蓋延遲開銷從而獲得較高的計算性能。

然而，由于神經網絡的訓練過程中數據傳遞操作頻繁、數據傳輸時間占比大，因此試圖通過重疊通信操作與計算操作來提升擴展性的現有技術難以取得較好的優化效果。此外，值得一提的是，大部分并行訓練優化的研究工作幾乎都只是考慮一些相對簡化的模型和比較簡單的情況。針對大模型訓練的并行優化，并行策略的設計幾乎全憑經驗，并且相關工作并沒有解決如何有效減少通信次數的瓶頸問題。

發明內容

為了改善訓練神經網絡模型時的通信復雜度，本申請的實施例提供了一種通信避免方法、裝置、電子設備和存儲介質。

在第一方面，本申請提供了一種通信避免方法，包括：

確定訓練神經網絡模型每層的計算過程的統一表達形式，所述統一表達形式為變量矩陣和參數矩陣的相互關系；

基于涉及訓練神經網絡模型的計算過程的所有進程數量，將所述變量矩陣重復P_r次且使每個進程持有所述變量矩陣的1/P_c塊、所述參數矩陣重復P_c次且使每個進程持有所述參數矩陣的1/P_r塊，其中P_c和P_r的乘積等于所有進程數量；

基于所述統一表達形式、所述變量矩陣的劃分結果以及所述參數矩陣的劃分結果確定訓練神經網絡模型時的通信復雜度，并調整P_c和P_r使得所述通信復雜度最優，以所述通信復雜度最優的方式來進行通信。

在一種可能的實現方式中，所述確定訓練神經網絡模型每層的計算過程的統一表達形式包括：

確定訓練神經網絡模型過程中前向傳遞的表達形式為：

Y_i＝W_iX_i、X_i+1＝f(Y_i)