[發明專利]通信避免方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110782183.7
• 申請日: 2021-07-12
• 公開（公告）號: CN113377546B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 肖俊敏;曹連雨
• 申請（專利權）人: 中科弘云科技（北京）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/901;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 張鴻基;馬希超

1.一種通信避免方法，其特征在于，包括：

確定訓練神經網絡模型每層的計算過程的統一表達形式，所述統一表達形式為變量矩陣和參數矩陣的相互關系；

基于涉及訓練神經網絡模型的計算過程的所有進程數量，將所述變量矩陣重復Pr次且使每個進程持有所述變量矩陣的1/Pc塊、所述參數矩陣重復Pc次且使每個進程持有所述參數矩陣的1/Pr塊，其中Pc和Pr的乘積等于所有進程數量；

基于所述統一表達形式、所述變量矩陣的劃分結果以及所述參數矩陣的劃分結果確定訓練神經網絡模型時的通信復雜度，并調整Pc和Pr使得所述通信復雜度最優，以所述通信復雜度最優的方式來進行通信；

其中，所述確定訓練神經網絡模型每層的計算過程的統一表達形式包括：

確定訓練神經網絡模型過程中前向傳遞的表達形式為：

Y_i＝W_iX_i、X_i+1＝f(Y_i)

其中，的每列表示神經網絡模型第i層的輸入變量，的每列表示神經網絡模型第i層的輸出變量，的每列表示從第i-1層到第i層之間的神經網絡模型的權重參數，Y_i 為神經網絡模型的輸出變量矩陣，W_i 為神經網絡模型的權重參數矩陣，X_i 為神經網絡模型的輸入變量矩陣，f為神經網絡模型的損失函數，i為神經網絡模型的層數，d_i 為神經網絡模型的神經元個數，B為集合Batch中元素的個數，Batch為索引指標集；

確定訓練神經網絡模型過程中反向傳遞的表達形式為：

其中，為損失函數關于輸入變量矩陣的梯度矩陣，為損失函數關于輸出變量矩陣的梯度矩陣，為損失函數關于神經網絡模型每層的權重參數矩陣的梯度矩陣；

由于非線性變換X_i+1＝f(Y_i)的計算不涉及通信，那么，

確定Y_i＝W_iX_i、以及為訓練神經網絡模型每層的計算過程的統一表達形式；

其中，所述基于所述統一表達形式、所述變量矩陣的劃分結果以及所述參數矩陣的劃分結果確定訓練神經網絡模型時的通信復雜度包括：

通過下式確定所述通信復雜度：

其中，T為通信復雜度，L為神經網絡模型的層數，P為涉及訓練神經網絡模型的計算過程的所有進程數，α為網絡延遲，β為帶寬的倒數，B為Batch中元素的個數，Batch為隨機索引指標集，d_i 為神經網絡模型的神經元個數，∣W_i ∣為神經網絡模型第i層中模型參數的總數。

2.根據權利要求1所述的方法，其特征在于，所述基于涉及訓練神經網絡模型的計算過程的所有進程數量，將所述變量矩陣重復Pr次且使每個進程持有所述變量矩陣的1/Pc塊、所述參數矩陣重復Pc次且使每個進程持有所述參數矩陣的1/Pr塊包括：

將輸入變量矩陣重復Pr次且使每個進程持有輸入變量矩陣的1/Pc塊；

將輸出變量矩陣重復Pr次且使每個進程持有輸出變量矩陣的1/Pc塊；

將權重參數矩陣重復Pc次且使每個進程持有權重參數矩陣的1/Pr塊；

將損失函數關于輸入變量矩陣的梯度矩陣重復Pr次且使每個進程持有損失函數關于輸入變量矩陣的梯度矩陣的1/Pc塊；

將損失函數關于輸出變量矩陣的梯度矩陣重復Pr次且使每個進程持有損失函數關于輸出變量矩陣的梯度矩陣的1/Pc塊；

將損失函數關于權重參數矩陣的梯度矩陣重復Pc次且使每個進程持有重復Pc次且使每個進程持有損失函數關于權重參數矩陣的梯度矩陣的1/Pr塊。