[發明專利]模型訓練方法、服務器和計算機可讀存儲介質

有效

• 申請號: 201810133203.6
• 申請日: 2018-02-09
• 公開（公告）號: CN110134636B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 戎海棟
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F15/163
• 分類號: G06F15/163;G06N3/08
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 姜春咸;馮建基

1.一種模型訓練方法，其特征在于，該方法包括：

接收到訓練作業后，獲取作業信息；其中，所述作業信息包括模型、樣本數據和迭代次數；

將所述模型復制到每個圖形處理器GPU，并同步所述每個GPU的模型參數的初始值；

每次迭代提取一部分樣本數據，將所述提取的樣本數據拆分后分發給不同的GPU進行訓練，對所有GPU訓練得到的參數梯度進行全局規約操作，并在各GPU上根據規約之后的參數梯度更新所述模型參數；

完成所述迭代次數的迭代后，選擇任意一個GPU的模型參數保存為模型訓練結果；

其中，所述對所有GPU訓練得到的參數梯度進行全局規約操作，并在各GPU上根據規約之后的參數梯度更新所述模型參數包括：

將參數梯度的多維矩陣數組前后連接為至少一個一維矩陣數組；對合并后的所述一維矩陣數組逐個進行全局規約操作；將全局規約后的所述一維矩陣數組恢復為原始尺寸的多維矩陣數組；所有GPU各自根據恢復后的參數梯度多維矩陣數組更新各自的模型參數；

或者，根據預設的分組規則將所有GPU劃分為多個規約組；對各GPU在多個所述規約組內進行組內的全局規約操作；對GPU進行組間的全局規約操作。

2.根據權利要求1所述的模型訓練方法，其特征在于，所述同步所述每個GPU的模型參數的初始值包括：

通過參數同步消息將其中一個GPU的模型參數的初始值同步到其他GPU上。

3.根據權利要求1所述的模型訓練方法，其特征在于，其特征在于，所述將參數梯度的多維矩陣數組前后連接為至少一個一維矩陣數組包括：

所有GPU均按照相同的順序，將參數梯度的多維矩陣數組前后連接為連續存儲的至少一個一維矩陣數組，并按順序保存參數梯度多維矩陣數組的尺寸信息；

所述將全局規約后的所述一維矩陣數組恢復為原始尺寸的多維矩陣數組包括：所有GPU各自根據參數梯度多維矩陣數組的尺寸信息，將全局規約后的所述一維矩陣數組恢復為原始尺寸的多維矩陣數組。

4.根據權利要求1所述的模型訓練方法，其特征在于，所述對GPU進行組間的全局規約操作包括：

從每一個所述規約組內推選至少一個GPU作為規約組的代表GPU；

對各規約組的代表GPU之間進行組間的全局規約操作；

各代表GPU將組間的全局規約之后的參數梯度向組內其他GPU進行廣播。

5.根據權利要求4所述的模型訓練方法，其特征在于，所述根據預設的分組規則將所有GPU劃分為多個規約組包括：

根據各GPU的鄰近關系、互聯介質的帶寬大小、通訊時延或通訊距離中的一種或任意幾種組合將所有GPU劃分為多個規約組。

6.根據權利要求4所述的模型訓練方法，其特征在于，所述根據預設的分組規則將所有GPU劃分為多個規約組之后還包括：對所述多個規約組按按預設的分級規則進行分級；

所述對各規約組的代表GPU之間進行組間的全局規約操作包括：

對每級內的各規約組的代表GPU進行全局規約操作，每級全局規約之后均選出至少一個代表GPU作為本級代表GPU參與下一級同步；

按分級級別由高到低逐級對每級的代表GPU進行全局規約操作；

所述各代表GPU將組間的全局規約之后的參數梯度向組內其他GPU進行廣播包括：按級別由低向高，每級代表GPU向本級內的規約組代表GPU廣播規約結果，各規約組代表GPU向本組其他GPU廣播全局規約結果。

7.根據權利要求1所述的模型訓練方法，其特征在于，對所有GPU的訓練得到的參數梯度進行全局規約操作，并在各GPU上根據規約之后的參數梯度更新所述模型參數包括：

使用全局收集操作，使得每個GPU都收集到其他GPU訓練得到的參數梯度；

每個GPU各自對收集到的參數梯度進行全局規約操作，并根據所述規約之后的參數梯度更新所述模型參數。

8.根據權利要求1-7任意一項權利要求所述的模型訓練方法，其特征在于，所述全局規約操作包括：全局求和、全局取最大值、全局取最小值或全局取平均值。