[發明專利]模型訓練方法、裝置以及電子設備

在審

• 申請號: 202011048284.3
• 申請日: 2020-09-29
• 公開（公告）號: CN112001455A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 孟凱;駱寶童;李盼盼;李振國;張恒華;胡在斌;黃凱文
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N20/20
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;胡永芳

1.一種模型訓練方法，應用于第一電子設備，所述第一電子設備包括第一處理器，所述方法包括：

向第二電子設備發送梯度數量；

接收所述第二電子設備基于所述梯度數量發送的第一融合梯度；

根據所述第一融合梯度與第二融合梯度，獲得目標融合梯度，其中，所述第二融合梯度根據從所述第一處理器對應的梯度隊列中取出的N個梯度進行融合獲得，N為所述梯度數量；

向所述第二電子設備發送所述目標融合梯度；

根據所述目標融合梯度，對所述第一電子設備的學習模型的參數進行更新。

2.根據權利要求1所述的方法，其中，在所述向第二電子設備發送梯度數量之后，在所述根據所述第一融合梯度與第二融合梯度，獲得目標融合梯度之前，還包括：

從所述第一處理器對應的梯度隊列中取出N個梯度；

獲取所述N個梯度取出順序中的前M個梯度，其中，所述前M個梯度的字節數之和不大于第一融合閾值，M為不大于N的正整數；

將所述前M個梯度進行融合，獲得所述第二融合梯度。

3.根據權利要求2所述的方法，其中，所述將所述前M個梯度進行融合，獲得所述第二融合梯度，包括：

若所述前M個梯度中第一梯度的數據類型的精度與預設精度不同，則對所述第一梯度進行精度轉換，獲得數據類型的精度與所述預設精度相同的新的第一梯度；

將進行精度轉換后的前M個梯度進行融合，獲得所述第二融合梯度。

4.根據權利要求2所述的方法，其中，所述根據所述目標融合梯度，對所述第一電子設備的學習模型的參數進行更新，包括：

根據梯度融合信息，對所述目標融合梯度進行拆分，獲得M個第二梯度，所述梯度融合信息包括參與梯度融合的數量M，以及所述前M個梯度中各梯度的維度；

利用所述M個第二梯度對所述第一電子設備的學習模型的參數進行更新。

5.根據權利要求2所述的方法，其中，所述向第二電子設備發送梯度數量，包括：

每隔第一預設通信間隔時間，查詢所述第一處理器對應的梯度隊列中的梯度的數量，獲得梯度數量；

向所述第二電子設備發送所述梯度數量。

6.根據權利要求5所述的方法，其中，在所述根據所述目標融合梯度，對所述第一電子設備的學習模型的參數進行更新之后，還包括：

根據第一預設時間段內所述第一電子設備與所述第二電子設備之間的第一通信字節數，確定所述第一預設通信間隔時間和第一融合閾值對應的第一評分；

對所述第一預設通信間隔時間和第一融合閾值進行調整，獲得第二預設通信間隔時間和第二融合閾值；

采用所述第二預設通信間隔時間和所述第二融合閾值，對所述第一電子設備的學習模型的參數進行更新；

根據第二預設時間段內所述第一電子設備與所述第二電子設備之間的第二通信字節數，確定所述第二預設通信間隔時間和第二融合閾值對應的第二評分；

根據所述第一評分和第二評分，從所述第一預設通信間隔時間和所述第二預設通信間隔時間中確定目標通信間隔時間，以及從所述第一融合閾值和所述第二融合閾值中確定目標融合閾值；

利用所述目標通信間隔時間和所述目標融合閾值，對所述第一電子設備的學習模型的參數進行更新，獲得目標模型。

7.一種模型訓練方法，應用于第二電子設備，所述第二電子設備包括第二處理器，所述方法包括：

接收第一電子設備發送的梯度數量；

向所述第一電子設備發送第一融合梯度，所述第一融合梯度根據從所述第二處理器對應的梯度隊列中取出的N個梯度融合獲得，N為所述梯度數量；

接收所述第一電子設備發送的目標融合梯度；

根據所述目標融合梯度，對所述第二電子設備的學習模型的參數進行更新。