[發明專利]一種模型訓練系統、模型訓練中梯度聚合的方法及裝置

有效

• 申請號: 201910880461.5
• 申請日: 2019-09-17
• 公開（公告）號: CN112528108B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 孫貝磊;鮑翀;王開盛;楊康
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳磊

1.一種模型訓練系統，包括至少兩個訓練節點，所述至少兩個訓練節點形成環狀傳輸路徑，第一訓練節點為所述模型訓練系統中的任一個訓練節點，第二訓練節點為所述環狀傳輸路徑上位于所述第一訓練節點上游的訓練節點，每個訓練節點上都包括一份相同的計算圖，所述每個訓練節點根據所述訓練節點上的計算圖處理訓練數據，所述計算圖用于定義多個算子的計算邏輯以及所述多個算子之間數據的輸入關系和輸出關系，其特征在于，

所述第一訓練節點將第一訓練數據輸入第一計算圖，所述第一計算圖包括第一算子和至少一個聚合算子，所述第一訓練數據用于訓練出所述第一算子的第一梯度，所述第一計算圖還用于定義所述至少一個聚合算子以及所述多個第一算子與所述至少一個聚合算子之間數據的輸入關系和輸出關系，所述聚合算子與N個第一算子之間具有輸入關系和輸出關系，N為大于1的整數；

所述第二訓練節點將第二訓練數據輸入第二計算圖，所述第二計算圖包括與所述第一算子對應的第二算子，所述第二訓練數據用于訓練出所述第二算子的第二梯度；

響應于所述第二訓練節點聚合得到的所述第二算子的聚合梯度，所述第二訓練節點將所述聚合梯度發送給所述第一訓練節點；

所述第一訓練節點確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度，其中，每個第一算子輸出一個第一梯度；

所述第一訓練節點通過所述聚合算子將N個第一算子各自輸出的第一梯度與對應的所述第二算子的聚合梯度進行聚合，以得到所述N個第一算子各自的聚合梯度。

2.根據權利要求1所述的模型訓練系統，其特征在于，

所述第一訓練節點使用所述第一算子的聚合梯度更新所述第一計算圖中所述第一算子對應的權重。

3.一種模型訓練中梯度聚合的方法，其特征在于，所述方法應用于模型訓練系統中的第一訓練節點，所述第一訓練節點為所述模型訓練系統中的任一個訓練節點，所述模型訓練系統包括至少兩個訓練節點，所述至少兩個訓練節點形成環狀傳輸路徑，第二訓練節點為所述環狀傳輸路徑上位于所述第一訓練節點上游的訓練節點，每個訓練節點上都包括一份相同的計算圖，所述每個訓練節點根據所述訓練節點上的計算圖處理訓練數據，所述計算圖用于定義多個算子的計算邏輯以及所述多個算子之間數據的輸入關系和輸出關系，所述方法包括：

將第一訓練數據輸入第一計算圖，所述第一計算圖包括第一算子和至少一個聚合算子，所述第一訓練數據用于訓練出所述第一算子的第一梯度，所述第一計算圖還用于定義所述至少一個聚合算子以及所述多個第一算子與所述至少一個聚合算子之間數據的輸入關系和輸出關系，所述聚合算子與N個第一算子之間具有輸入關系和輸出關系，N為大于1的整數；

接收所述第二訓練節點發送的第二計算圖中第二算子的聚合梯度，所述第二計算圖包括與所述第一算子對應的所述第二算子；

確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度，其中，每個第一算子輸出一個第一梯度；

通過所述聚合算子將N個第一算子各自輸出的第一梯度與對應的所述第二算子的聚合梯度進行聚合，以得到所述N個第一算子各自的聚合梯度。

4.根據權利要求3所述的方法，其特征在于，所述確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度，包括：

檢測所述聚合算子接收的第一梯度的數量；

若所述第一梯度的數量與所述聚合算子所連接的N個第一算子的數量相同，則確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度。

5.根據權利要求3所述的方法，其特征在于，所述確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度，包括：

檢測所述第一算子的位圖中所述N個第一算子的指示位，所述位圖包括所述第一計算圖中每個第一算子的指示位，其中每個指示位表示該第一算子的第一梯度的就緒狀態，所述就緒狀態用于指示所述聚合算子已接收到所述第一梯度或未接收到所述第一梯度；

若所述N個第一算子的指示位上的就緒狀態都指示各自的第一梯度已就緒，則確定所述聚合算子接收到所述N個第一算子輸出的N個第一梯度。