[發(fā)明專利]模型參數更新方法及其相關設備

有效

• 申請?zhí)枺?/td>: 202010234711.0
• 申請日: 2020-03-27
• 公開（公告）號: CN111461343B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設計）人: 吳志華;于佃海;程默;湯偉;馬琳;董大祥
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種模型參數更新方法，其特征在于，包括：

獲取局部增量信息，結合所述局部增量信息對所述模型的參數快照信息進行更新，所述參數快照信息包括各個本地參數對應的快照數值；

將所述局部增量信息上報給分布式訓練系統(tǒng)中的參數服務器節(jié)點，并接收所述參數服務器節(jié)點返回的全局參數信息；

根據所述全局參數信息以及所述參數快照信息，確定全局增量信息；

根據所述全局增量信息對所述模型的本地參數信息進行更新，并將所述全局參數信息確定為所述模型的參數快照信息。

2.根據權利要求1所述的方法，其特征在于，所述獲取局部增量信息，包括：

根據所述模型的本地參數信息以及參數快照信息，確定參數差值信息；

根據所述參數差值信息以及預設的權重，確定所述局部增量信息。

3.根據權利要求2所述的方法，其特征在于，所述權重為所述分布式訓練系統(tǒng)中進行所述模型訓練的訓練節(jié)點的總數量的倒數。

4.根據權利要求1或2所述的方法，其特征在于，所述局部增量信息包括：訓練節(jié)點的標識，所述模型中的待上報本地參數以及對應的局部增量；

所述待上報本地參數為：所述模型中的稠密本地參數，以及稀疏本地參數中數值發(fā)生變化的參數。

5.根據權利要求1所述的方法，其特征在于，根據所述全局增量信息對所述模型的本地參數信息進行更新，包括：

針對所述模型的每個本地參數，獲取所述全局增量信息中與所述本地參數對應的全局增量數值；

將所述全局增量數值與所述本地參數的當前數值相加，將相加結果作為所述本地參數的當前數值。

6.一種模型參數更新方法，其特征在于，包括：

接收分布式訓練系統(tǒng)中至少一個訓練節(jié)點上報的局部增量信息；

根據所述至少一個訓練節(jié)點上報的局部增量信息，對所述模型的全局參數信息進行更新，得到更新后的全局參數信息；

將所述更新后的全局參數信息返回給所述訓練節(jié)點；

其中，所述訓練節(jié)點根據所述全局參數信息以及參數快照信息，確定全局增量信息，根據所述全局增量信息對所述模型的本地參數信息進行更新，并將所述全局參數信息確定為所述模型的參數快照信息，所述參數快照信息包括各個本地參數對應的快照數值。

7.根據權利要求6所述的方法，其特征在于，訓練節(jié)點上報的局部增量信息的獲取方式為，

根據訓練節(jié)點上模型的本地參數信息以及參數快照信息，確定參數差值信息；

根據所述參數差值信息以及預設的權重，確定所述局部增量信息。

8.根據權利要求6所述的方法，其特征在于，所述局部增量信息包括：訓練節(jié)點的標識，訓練節(jié)點上模型的待上報本地參數以及對應的局部增量；

所述待上報本地參數為：訓練節(jié)點上模型中的稠密本地參數，以及稀疏本地參數中數值發(fā)生變化的參數。

9.根據權利要求6所述的方法，其特征在于，所述根據所述至少一個訓練節(jié)點上報的局部增量信息，對所述模型的全局參數信息進行更新，得到更新后的全局參數信息，包括：

針對所述全局參數信息中的每個全局參數，查詢所述至少一個訓練節(jié)點上報的局部增量信息，獲取所述全局參數對應的至少一個局部增量；

對所述至少一個局部增量以及所述全局參數的數值進行加和處理，得到更新后的全局參數。

10.一種訓練節(jié)點，其特征在于，包括：

獲取模塊，用于獲取局部增量信息，結合所述局部增量信息對模型的參數快照信息進行更新，所述參數快照信息包括各個本地參數對應的快照數值；

上報模塊，用于將所述局部增量信息上報給分布式訓練系統(tǒng)中的參數服務器節(jié)點，并接收所述參數服務器節(jié)點返回的全局參數信息；

更新模塊，用于根據所述全局參數信息以及參數快照信息，確定全局增量信息；根據所述全局增量信息對所述模型的本地參數信息進行更新，并將所述全局參數信息確定為所述模型的參數快照信息。