[發明專利]分布式訓練方法、裝置、計算機設備、存儲介質和產品

在審

• 申請號: 202111415782.1
• 申請日: 2021-11-25
• 公開（公告）號: CN114327399A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王耀東;朱文熙;鄧民文
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李玉婷

1.一種分布式訓練方法，其特征在于，包括：

通過模型訓練任務的異步通信單元將網絡梯度數據發送給梯度處理任務，所述模型訓練任務和所述梯度處理任務集成在分布式處理器中，所述網絡梯度數據為對神經網絡模型進行梯度計算得到的；

基于所述梯度處理任務對所述網絡梯度數據進行數據封裝處理，得到處理后網絡梯度數據；

根據所述梯度處理任務將所述處理后網絡梯度數據進行數據規約處理，得到所述模型訓練任務對應的回傳網絡梯度數據；

通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新，以對所述神經網絡模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述模型訓練任務包括至少一個訓練子任務，每個訓練子任務設置有執行優先級，所述通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新，包括：

若存在至少兩個當前待處理任務時，獲取每個當前待處理任務對應的執行優先級；

根據所述當前待處理任務的執行優先級確定目標訓練子任務；

基于所述目標訓練子任務，通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新。

3.根據權利要求2所述的方法，其特征在于，所述訓練子任務包括梯度更新任務，所述基于所述目標訓練子任務，通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新，包括：

若所述目標訓練子任務不為梯度更新任務，則執行所述目標訓練子任務，并返回執行所述根據所述當前待處理任務的執行優先級確定目標訓練子任務，直到所述目標訓練子任務為梯度更新任務；

若所述目標訓練任務為梯度更新任務，則通過所述分布式訓練處理器基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新。

4.根據權利要求1所述的方法，其特征在于，所述分布式處理器包括存在多個計算節點的計算圖，所述計算圖基于所述模型訓練任務以及所述梯度處理任務得到，所述通過模型訓練任務的異步通信單元，將對神經網絡模型進行梯度計算得到網絡梯度數據發送給梯度處理任務，包括：

獲取所述分布式訓練處理器中計算圖中計算節點之間的邊所對應的邊標識；

將所述邊標識進行映射處理，得到所述計算圖的任務執行順序；

根據所述任務執行順序，通過模型訓練任務的對應的異步通信單元，將對神經網絡模型進行梯度計算得到網絡梯度數據發送給梯度處理任務。

5.根據權利要求1所述的方法，其特征在于，所述通過模型訓練任務的異步通信單元，將對神經網絡模型進行梯度計算得到網絡梯度數據發送給梯度處理任務之前，所述方法還包括：

通過線性代碼編譯程序構建初始異步通信單元；

基于所述初始異步單元調用分布式訓練框架程序中的異步傳輸邏輯代碼，并封裝成異步執行函數；

基于所述異步執行函數以及所述初始異步通信單元，得到所述異步通信單元，以基于所述異步通信單元調用所述異步傳輸邏輯代碼將所述網絡梯度數據發送給梯度處理任務。

6.根據權利要求5所述的方法，其特征在于，所述通過模型訓練任務的異步通信單元，將對神經網絡模型進行梯度計算得到網絡梯度數據發送給梯度處理任務，包括：

基于所述模型訓練任務對神經網絡模型進行梯度計算，得到所述網絡梯度數據，所述神經網絡模型部署于所述分布式處理器中；

通過所述模型訓練任務的異步通信單元中異步執行函數，調用所述異步傳輸邏輯代碼將所述網絡梯度數據發送給梯度處理任務。

7.根據權利要求5所述的方法，其特征在于，所述根據所述梯度處理任務將所述處理后網絡梯度數據進行數據規約處理，得到所述模型訓練任務對應的回傳網絡梯度數據，包括：

通過所述梯度處理任務將所述處理后網絡梯度數據發送至所述分布式訓練框架程序中的梯度傳輸函數；

通過所述梯度傳輸函數對所述處理后網絡梯度數據在所述分布式處理器之間進行梯度傳輸，得到每個分布式訓練處理器對應的回傳網絡梯度。