[發(fā)明專利]一種多個(gè)GPU并行的DNN模型訓(xùn)練方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710564223.4
• 申請(qǐng)日: 2017-07-12
• 公開（公告）號(hào): CN109255439B
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 龔軼凡;靳江明;蘇磊
• 申請(qǐng)（專利權(quán)）人: 北京圖森智途科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種多個(gè)圖形處理單元并行的深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其特征在于，包括：

多個(gè)圖形處理單元GPU中的一個(gè)GPU在對(duì)分配到的數(shù)據(jù)子集進(jìn)行DNN模型訓(xùn)練時(shí)，在前向傳播處理過程中，接收前向歸一化BN輸入數(shù)據(jù)子集；確定全局前向BN輸入數(shù)據(jù)均值集合；根據(jù)所述全局前向BN輸入數(shù)據(jù)均值集合，對(duì)所述前向BN輸入數(shù)據(jù)子集進(jìn)行前向BN處理，得到前向BN輸出數(shù)據(jù)子集；所述全局前向BN輸入數(shù)據(jù)均值集合包括：全局前向BN輸入數(shù)據(jù)的均值和平方均值；

在后向傳播處理過程中，接收后向BN輸入數(shù)據(jù)子集，所述后向BN輸入數(shù)據(jù)子集是所述前向BN輸出數(shù)據(jù)子集的梯度集合；確定全局后向BN輸入數(shù)據(jù)均值集合；根據(jù)所述全局后向BN輸入數(shù)據(jù)均值集合、所述后向BN輸入數(shù)據(jù)子集和所述全局前向BN輸入數(shù)據(jù)均值集合，對(duì)所述前向BN輸入數(shù)據(jù)子集進(jìn)行后向BN處理，得到所述前向BN輸入數(shù)據(jù)子集中每個(gè)數(shù)據(jù)的梯度，所述全局后向BN輸入數(shù)據(jù)均值集合包括：全局后向BN輸入數(shù)據(jù)均值和全局前向BN梯度校正數(shù)據(jù)均值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定全局前向BN輸入數(shù)據(jù)均值集合，包括：

在所述GPU為多個(gè)GPU中的主GPU的情況下，所述主GPU根據(jù)所述前向BN輸入數(shù)據(jù)子集確定所述GPU的前向BN輸入數(shù)據(jù)子集均值集合，所述前向BN輸入數(shù)據(jù)子集均值集合包括：所述前向BN輸入數(shù)據(jù)子集的均值和平方均值；

接收來自其它各從GPU的前向BN輸入數(shù)據(jù)子集均值集合；

根據(jù)所述主GPU的前向BN輸入數(shù)據(jù)子集均值集合和其它各從GPU的前向BN輸入數(shù)據(jù)子集均值集合，確定全局前向BN輸入數(shù)據(jù)均值集合；

將所述全局前向BN輸入數(shù)據(jù)均值集合發(fā)送給其它各從GPU。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定前向BN輸入數(shù)據(jù)子集均值集合，包括：

根據(jù)公式確定所述前向BN輸入數(shù)據(jù)子集的均值，其中，B_i＝{x_i，j}(j＝1，2，...m_i)，B_i為所述GPU為第i個(gè)GPU時(shí)的前向BN輸入數(shù)據(jù)子集，x_i，j為所述前向BN輸入數(shù)據(jù)子集中的數(shù)據(jù)，m_i為所述前向BN輸入數(shù)據(jù)子集中的數(shù)據(jù)的數(shù)量，μ_i為所述GPU為第i個(gè)GPU時(shí)的前向BN輸入數(shù)據(jù)子集的均值；

根據(jù)公式確定所述前向BN輸入數(shù)據(jù)子集的平方均值，其中，ν_i為所述GPU為第i個(gè)GPU時(shí)的前向BN輸入數(shù)據(jù)子集的平方均值。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定全局前向BN輸入數(shù)據(jù)均值集合，包括：

根據(jù)公式確定所述全局前向BN輸入數(shù)據(jù)的均值，其中，n為所述多個(gè)GPU的數(shù)量，μ_i為第i個(gè)GPU的前向BN輸入數(shù)據(jù)子集的均值，m_i為第i個(gè)GPU的前向BN輸入數(shù)據(jù)子集中的數(shù)據(jù)的數(shù)量，μ為所述全局前向BN輸入數(shù)據(jù)的均值；

根據(jù)公式確定所述全局前向BN輸入數(shù)據(jù)的平方均值，其中，ν_i為第i個(gè)GPU的前向BN輸入數(shù)據(jù)子集的平方均值，ν為所述全局前向BN輸入數(shù)據(jù)的平方均值。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，對(duì)所述前向BN輸入數(shù)據(jù)子集進(jìn)行前向BN處理，包括：

根據(jù)所述全局前向BN輸入數(shù)據(jù)的均值和平方均值，對(duì)所述前向BN輸入數(shù)據(jù)子集中的每個(gè)數(shù)據(jù)進(jìn)行前向BN操作，得到前向BN后數(shù)據(jù)子集；

對(duì)所述前向BN后數(shù)據(jù)子集中每個(gè)數(shù)據(jù)進(jìn)行偏移操作，得到所述前向BN輸出數(shù)據(jù)子集。