[發明專利]模型參數更新方法及其相關設備

有效

• 申請號: 202010234711.0
• 申請日: 2020-03-27
• 公開（公告）號: CN111461343B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 吳志華;于佃海;程默;湯偉;馬琳;董大祥
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

本申請公開了模型參數更新方法及其相關設備，涉及深度學習技術領域。具體實現方案為：獲取局部增量信息，結合局部增量信息對模型的參數快照信息進行更新；將局部增量信息上報給分布式訓練系統中的參數服務器節點，并接收參數服務器節點返回的全局參數信息；根據全局參數信息，對模型的本地參數信息以及參數快照信息進行更新。

相關申請的交叉引用

本申請要求北京百度網訊科技有限公司于2020年03月13日提交的、申請名稱為“模型參數更新方法及其相關設備”的、中國專利申請號“202010179455.X”的優先權。

技術領域

本申請涉及數據處理技術領域，具體涉及深度學習技術領域，尤其涉及模型參數更新方法及其相關設備。

背景技術

目前的分布式深度學習算法中，涉及參數服務器節點以及多個訓練節點。常用的分布式深度學習算法主要有EA-SGD(一種隨機梯度下降算法)算法等。在該算法中，在每個訓練節點上持有全量的訓練數據，對深度模型進行訓練，達到訓練輪次后，向參數服務器節點發送模型參數增量，并根據參數服務器節點返回的全局參數增量更新本地參數，直至訓練結束。

然而，上述算法中，在訓練節點與參數服務器節點通信的過程中，訓練節點的訓練過程被停止，通信占比較高，降低了模型的收斂速度，降低了模型的訓練速度。

發明內容

本申請提出一種模型參數更新方法及其相關設備，通過結合參數快照信息，確保訓練與通信的并行，降低了通信占比，并減少因為通信導致的訓練速度減慢。同時，結合增量信息更新，保留參數的局部優化，保留訓練節點探索到的有益信息，進一步提高模型的收斂速度。

本申請第一方面實施例提出了一種模型參數更新方法，包括：獲取局部增量信息，結合所述局部增量信息對所述模型的參數快照信息進行更新；將所述局部增量信息上報給分布式訓練系統中的參數服務器節點，并接收所述參數服務器節點返回的全局參數信息；根據所述全局參數信息，對所述模型的本地參數信息以及參數快照信息進行更新。

在本申請一個實施例中，所述獲取局部增量信息，包括：根據所述模型的本地參數信息以及參數快照信息，確定參數差值信息根據所述參數差值信息以及預設的權重，確定所述局部增量信息。

在本申請一個實施例中，所述權重為所述分布式訓練系統中進行所述模型訓練的訓練節點的總數量的倒數。

在本申請一個實施例中，所述局部增量信息包括：訓練節點的標識，所述模型中的待上報本地參數以及對應的局部增量；所述待上報本地參數為：所述模型中的稠密本地參數，以及稀疏本地參數中數值發生變化的參數。

在本申請一個實施例中，所述根據所述全局參數信息，對所述模型的本地參數信息以及參數快照信息進行更新，包括：根據所述全局參數信息以及參數快照信息，確定全局增量信息；根據所述全局增量信息對所述模型的本地參數信息進行更新，并將所述全局參數信息確定為所述模型的參數快照信息。

在本申請一個實施例中，根據所述全局增量信息對所述模型的本地參數信息進行更新，包括：針對所述模型的每個本地參數，獲取所述全局增量信息中與所述本地參數對應的全局增量數值；將所述全局增量數值與所述本地參數的當前數值相加，將相加結果作為所述本地參數的當前數值。

本申請實施例的模型參數更新方法，通過獲取局部增量信息，結合所述局部增量信息對所述模型的參數快照信息進行更新；將所述局部增量信息上報給分布式訓練系統中的參數服務器節點，并接收所述參數服務器節點返回的全局參數信息；根據所述全局參數信息，對所述模型的本地參數信息以及參數快照信息進行更新。該方法通過結合參數快照信息，確保訓練與通信的并行，降低了通信占比，并減少因為通信導致的訓練速度減慢。同時，結合增量信息更新，保留參數的局部優化，保留訓練節點探索到的有益信息，進一步提高了模型的收斂速度。