[發(fā)明專(zhuān)利]深度學(xué)習(xí)模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202211383327.2
• 申請(qǐng)日: 2022-11-07
• 公開(kāi)（公告）號(hào): CN115860114B
• 公開(kāi)（公告）日: 2023-09-08
• 發(fā)明（設(shè)計(jì)）人: 劉雨昂;曾錦樂(lè);吳志華;丁佃海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06N3/098
• 分類(lèi)號(hào): G06N3/098;G06F9/50
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤(rùn)

1.一種深度學(xué)習(xí)模型的訓(xùn)練方法，包括：

在圖形處理器GPU集群對(duì)深度學(xué)習(xí)模型第n次訓(xùn)練結(jié)束后，向所述GPU集群中每個(gè)GPU發(fā)送參數(shù)廣播消息，其中n為正整數(shù)；

在接收到第一GPU發(fā)送的參數(shù)廣播完成消息的情況下，控制所述GPU集群?jiǎn)?dòng)對(duì)所述深度學(xué)習(xí)模型的第n+1次訓(xùn)練，其中，所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)為所述深度學(xué)習(xí)模型在前向訓(xùn)練過(guò)程中最先使用的目標(biāo)參數(shù)，其中，所述第一GPU發(fā)送的參數(shù)廣播完成消息用于指示所述第一GPU完成了所述第一目標(biāo)參數(shù)的廣播任務(wù)；

其中，所述控制所述GPU集群?jiǎn)?dòng)對(duì)所述深度學(xué)習(xí)模型的第n+1次訓(xùn)練，包括：

控制所述GPU集群對(duì)所述深度學(xué)習(xí)模型啟動(dòng)基于所述第一目標(biāo)參數(shù)的第n+1次前向訓(xùn)練；

在基于所述第一目標(biāo)參數(shù)的第n+1次前向訓(xùn)練結(jié)束的情況下，確定是否獲取到第二GPU發(fā)送的參數(shù)廣播完成消息，其中，所述第二GPU關(guān)聯(lián)的第二目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序，與所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序相鄰，且位于所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序之后；

在接收到所述第二GPU發(fā)送的參數(shù)廣播完成消息的情況下，控制所述GPU集群對(duì)所述深度學(xué)習(xí)模型啟動(dòng)基于所述第二目標(biāo)參數(shù)的第n+1次前向訓(xùn)練，直至完成對(duì)所述深度學(xué)習(xí)模型的第n+1次訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述向所述GPU集群中每個(gè)GPU發(fā)送參數(shù)廣播消息，包括：

基于預(yù)設(shè)的廣播順序列表，依次向每個(gè)所述GPU發(fā)送所述參數(shù)廣播消息，其中，所述廣播順序列表包括各個(gè)所述GPU及每個(gè)所述GPU對(duì)應(yīng)的廣播順序。

3.根據(jù)權(quán)利要求2所述的方法，其中，在所述基于預(yù)設(shè)的廣播順序列表，依次向每個(gè)所述GPU發(fā)送所述參數(shù)廣播消息之前，還包括：

根據(jù)所述深度學(xué)習(xí)模型中待訓(xùn)練的目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序，確定所述目標(biāo)參數(shù)的廣播優(yōu)先級(jí)；

根據(jù)所述GPU集群中每個(gè)GPU與所述目標(biāo)參數(shù)的關(guān)聯(lián)關(guān)系及所述目標(biāo)參數(shù)的廣播優(yōu)先級(jí)，生成所述廣播順序列表。

4.根據(jù)權(quán)利要求1所述的方法，其中，還包括：

在所述深度學(xué)習(xí)模型的訓(xùn)練達(dá)到預(yù)設(shè)的停止條件的情況下，向所述GPU集群中的每個(gè)所述GPU發(fā)送參數(shù)廣播消息及訓(xùn)練停止消息；

在接收到每個(gè)所述GPU發(fā)送的參數(shù)廣播完成消息的情況下，基于每個(gè)所述目標(biāo)參數(shù)的目標(biāo)值，生成所述深度學(xué)習(xí)模型。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其中，所述第一GPU發(fā)送的參數(shù)廣播完成消息用于指示所述第一GPU完成了所述第一目標(biāo)參數(shù)的廣播任務(wù)。

6.一種深度學(xué)習(xí)模型的訓(xùn)練裝置，包括：

發(fā)送模塊，用于在圖形處理器GPU集群對(duì)深度學(xué)習(xí)模型第n次訓(xùn)練結(jié)束后，向所述GPU集群中每個(gè)GPU發(fā)送參數(shù)廣播消息，其中n為正整數(shù)；

控制模塊，用于在接收到第一GPU發(fā)送的參數(shù)廣播完成消息的情況下，控制所述GPU集群?jiǎn)?dòng)對(duì)所述深度學(xué)習(xí)模型的第n+1次訓(xùn)練，其中，所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)為所述深度學(xué)習(xí)模型在前向訓(xùn)練過(guò)程中最先使用的目標(biāo)參數(shù)，其中，所述第一GPU發(fā)送的參數(shù)廣播完成消息用于指示所述第一GPU完成了所述第一目標(biāo)參數(shù)的廣播任務(wù)；

其中，控制模塊，具體用于：

控制所述GPU集群對(duì)所述深度學(xué)習(xí)模型啟動(dòng)基于所述第一目標(biāo)參數(shù)的第n+1次前向訓(xùn)練；

在基于所述第一目標(biāo)參數(shù)的第n+1次前向訓(xùn)練結(jié)束的情況下，確定是否獲取到第二GPU發(fā)送的參數(shù)廣播完成消息，其中，所述第二GPU關(guān)聯(lián)的第二目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序，與所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序相鄰，且位于所述第一GPU關(guān)聯(lián)的第一目標(biāo)參數(shù)在前向訓(xùn)練過(guò)程中的使用順序之后；

在接收到所述第二GPU發(fā)送的參數(shù)廣播完成消息的情況下，控制所述GPU集群對(duì)所述深度學(xué)習(xí)模型啟動(dòng)基于所述第二目標(biāo)參數(shù)的第n+1次前向訓(xùn)練，直至完成對(duì)所述深度學(xué)習(xí)模型的第n+1次訓(xùn)練。