[發(fā)明專利]訓(xùn)練深度學(xué)習(xí)模型的方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210275033.1
• 申請(qǐng)日: 2022-03-18
• 公開（公告）號(hào): CN114626523A
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 李龍;沈亮;吳志華
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06F15/173
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 鄢功軍

1.一種訓(xùn)練深度學(xué)習(xí)模型的方法，包括：

將訓(xùn)練數(shù)據(jù)劃分為N個(gè)第一數(shù)據(jù)集，其中，N為大于1的整數(shù)；

根據(jù)所述N個(gè)第一數(shù)據(jù)集，與當(dāng)前計(jì)算節(jié)點(diǎn)所處的計(jì)算節(jié)點(diǎn)集群內(nèi)的目標(biāo)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，得到第一交換結(jié)果；

根據(jù)所述第一交換結(jié)果，與所述當(dāng)前計(jì)算節(jié)點(diǎn)中的目標(biāo)處理單元進(jìn)行數(shù)據(jù)交換，得到第二交換結(jié)果；以及

利用所述第二交換結(jié)果，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述N個(gè)第一數(shù)據(jù)集，與當(dāng)前計(jì)算節(jié)點(diǎn)所處的計(jì)算節(jié)點(diǎn)集群內(nèi)的目標(biāo)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，得到第一交換結(jié)果，包括：

確定每個(gè)所述目標(biāo)計(jì)算節(jié)點(diǎn)中的對(duì)應(yīng)處理單元；

將所述N個(gè)第一數(shù)據(jù)集中與每個(gè)所述對(duì)應(yīng)處理單元對(duì)應(yīng)的目標(biāo)第一數(shù)據(jù)集發(fā)送至所述對(duì)應(yīng)處理單元；

接收來自每個(gè)所述對(duì)應(yīng)處理單元的第二數(shù)據(jù)集；以及

確定每個(gè)所述第二數(shù)據(jù)集以及所述N個(gè)第一數(shù)據(jù)集中除所述目標(biāo)第一數(shù)據(jù)集之外的其他第一數(shù)據(jù)集，作為所述第一交換結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述確定每個(gè)所述目標(biāo)計(jì)算節(jié)點(diǎn)中的對(duì)應(yīng)處理單元，包括：

獲取所述當(dāng)前計(jì)算節(jié)點(diǎn)中當(dāng)前處理單元的第一單元編號(hào)；以及

確定所述目標(biāo)計(jì)算節(jié)點(diǎn)中單元編號(hào)與所述第一單元編號(hào)匹配的處理單元，作為所述對(duì)應(yīng)處理單元。

4.根據(jù)權(quán)利要求2或3所述的方法，其中，所述將所述N個(gè)第一數(shù)據(jù)集中與每個(gè)所述對(duì)應(yīng)處理單元對(duì)應(yīng)的目標(biāo)第一數(shù)據(jù)集發(fā)送至所述對(duì)應(yīng)處理單元，包括：

針對(duì)每個(gè)所述目標(biāo)計(jì)算節(jié)點(diǎn)，

獲取所述目標(biāo)計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)編號(hào)i，其中，所述i為整數(shù)且1≤i≤N；以及

確定所述N個(gè)第一數(shù)據(jù)集中的第i個(gè)第一數(shù)據(jù)集作為所述目標(biāo)第一數(shù)據(jù)集，并將所述目標(biāo)第一數(shù)據(jù)集發(fā)送至所述目標(biāo)計(jì)算節(jié)點(diǎn)中的對(duì)應(yīng)處理單元。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述第一交換結(jié)果，與所述當(dāng)前計(jì)算節(jié)點(diǎn)中的目標(biāo)處理單元進(jìn)行數(shù)據(jù)交換，得到第二交換結(jié)果，包括：

根據(jù)所述計(jì)算節(jié)點(diǎn)集群內(nèi)計(jì)算節(jié)點(diǎn)的總數(shù)量M，將所述第一交換結(jié)果分成M個(gè)第一數(shù)據(jù)，其中，所述M為大于1的整數(shù)；

將所述M個(gè)第一數(shù)據(jù)中與每個(gè)所述目標(biāo)處理單元對(duì)應(yīng)的目標(biāo)第一數(shù)據(jù)發(fā)送至所述目標(biāo)處理單元；

接收來自每個(gè)所述每個(gè)目標(biāo)處理單元的第二數(shù)據(jù)；以及

確定每個(gè)所述第二數(shù)據(jù)以及所述M個(gè)第一數(shù)據(jù)中除所述目標(biāo)第一數(shù)據(jù)之外的其他第一數(shù)據(jù)，作為所述第二交換結(jié)果。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述將所述m個(gè)第一數(shù)據(jù)中與每個(gè)所述目標(biāo)處理單元對(duì)應(yīng)的目標(biāo)第一數(shù)據(jù)發(fā)送至所述目標(biāo)處理單元，包括：

獲取所述當(dāng)前計(jì)算節(jié)點(diǎn)中處理單元的總數(shù)量M’；

針對(duì)所述M個(gè)第一數(shù)據(jù)中的第j個(gè)第一數(shù)據(jù)，其中，j為整數(shù)且1≤j≤M’，根據(jù)以下公式確定中間參數(shù)y：

y＝(j-1)％M’+1，

將所述第j個(gè)第一數(shù)據(jù)發(fā)送至所述當(dāng)前計(jì)算節(jié)點(diǎn)中第y個(gè)處理單元。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述第二交換結(jié)果，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，包括：

將所述第二交換結(jié)果輸入所述深度學(xué)習(xí)模型，得到輸出結(jié)果；以及

根據(jù)所述輸出結(jié)果，調(diào)整所述深度學(xué)習(xí)模型的參數(shù)。

8.一種訓(xùn)練深度學(xué)習(xí)模型的裝置，包括：

劃分模塊，用于將訓(xùn)練數(shù)據(jù)劃分為N個(gè)第一數(shù)據(jù)集，其中，N為大于1的整數(shù)；

第一交換模塊，用于根據(jù)所述N個(gè)第一數(shù)據(jù)集，與當(dāng)前計(jì)算節(jié)點(diǎn)所處的計(jì)算節(jié)點(diǎn)集群內(nèi)的目標(biāo)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換，得到第一交換結(jié)果；

第二交換模塊，用于根據(jù)所述第一交換結(jié)果，所述當(dāng)前計(jì)算節(jié)點(diǎn)中的目標(biāo)處理單元進(jìn)行數(shù)據(jù)交換，得到第二交換結(jié)果；以及

訓(xùn)練模塊，用于利用所述第二交換結(jié)果，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。