[發明專利]分布式訓練方法、裝置、計算機設備、存儲介質和產品

在審

• 申請號: 202111415782.1
• 申請日: 2021-11-25
• 公開（公告）號: CN114327399A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王耀東;朱文熙;鄧民文
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李玉婷

本申請實施例公開了一種分布式訓練方法、裝置、計算機設備、存儲介質和產品，通過模型訓練任務的異步通信單元將網絡梯度數據發送給梯度處理任務，網絡梯度數據為對神經網絡模型進行梯度計算得到的；基于梯度處理任務對網絡梯度數據進行數據封裝處理，得到處理后網絡梯度數據；根據梯度處理任務將處理后網絡梯度數據進行數據規約處理，得到模型訓練任務對應的回傳網絡梯度數據；通過模型訓練任務基于回傳網絡梯度數據對神經網絡模型進行梯度更新，以對神經網絡模型進行訓練。本方案中異步通信節點具有異步屬性，當網絡梯度數據發送出去后，可以執行后續的模型訓練任務以及對網絡梯度數據進行數據處理，實現對網絡梯度數據的計算與通信并行。

技術領域

本申請涉及通信技術領域，具體涉及一種分布式訓練方法、裝置、計算機設備、存儲介質和產品。

背景技術

在對神經網絡模型進行訓練時，使用線性代數編譯程序將計算圖中的多個離散的Op融合起來(Op fusion)，作為一整個新的XLA Op，提高計算速度，減少緩存和細小Op的起停時間開銷，線性代數編譯程序也稱為線性代數編譯器(Accelerated Linear Algebra，XLA)；使用Horovod進行高效傳輸，當XLA和Horovod一起使用時，由于XLA的融合僅支持同步節點不支持異步的HorovodAllreduce節點，采用Tensorflow XLA之后,一個XLA Op的輸入和輸出被當作整體來同步，對神經網絡模型計算得到的所有梯度都要等到最后一個梯度計算完成之后才能開始傳輸，傳輸時間取決于耗時最長的HorovodAllreduce(Horovod框架的核心節點，負責在多機集群之間進行梯度傳輸)，整體執行時間因此被拖慢。

發明內容

本申請實施例提供一種分布式訓練方法、裝置、計算機設備、存儲介質和產品，實現對網絡梯度數據的計算與通信并行。

本申請實施例提供的一種分布式訓練方法，包括：

通過模型訓練任務的異步通信單元將網絡梯度數據發送給梯度處理任務，所述模型訓練任務和所述梯度處理任務集成在分布式處理器中，所述網絡梯度數據為對神經網絡模型進行梯度計算得到的；

基于所述梯度處理任務對所述網絡梯度數據進行數據封裝處理，得到處理后網絡梯度數據；

根據所述梯度處理任務將所述處理后網絡梯度數據進行數據規約處理，得到所述模型訓練任務對應的回傳網絡梯度數據；

通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新，以對所述神經網絡模型進行訓練。

相應的，本申請實施例還提供的一種分布式訓練裝置，包括：

發送模塊，用于通過模型訓練任務的異步通信單元將網絡梯度數據發送給梯度處理任務，所述模型訓練任務和所述梯度處理任務集成在分布式處理器中，所述網絡梯度數據為對神經網絡模型進行梯度計算得到的；

第一數據處理模塊，用于基于所述梯度處理任務對所述網絡梯度數據進行數據封裝處理，得到處理后網絡梯度數據；

第二數據處理模塊，用于根據所述梯度處理任務將所述處理后網絡梯度數據進行數據規約處理，得到所述模型訓練任務對應的回傳網絡梯度數據；

梯度更新模塊，用于通過所述模型訓練任務基于所述回傳網絡梯度數據對所述神經網絡模型進行梯度更新，以對所述神經網絡模型進行訓練。

在一實施例中，所述發送模塊，包括：

獲取子模塊，用于獲取所述分布式訓練處理器中計算圖中計算節點之間的邊所對應的邊標識；

映射子模塊，用于將所述邊標識進行映射處理，得到所述計算圖的任務執行順序；

第一發送子模塊，用于根據所述任務執行順序，通過模型訓練任務的對應的異步通信單元，將對神經網絡模型進行梯度計算得到網絡梯度數據發送給梯度處理任務。