[發(fā)明專利]異步梯度平均的分布式隨機(jī)梯度下降法

在審

• 申請(qǐng)?zhí)枺?/td>: 201780094579.4
• 申請(qǐng)日: 2017-09-04
• 公開（公告）號(hào): CN111052155A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 吳祖光;羅曼·塔利揚(yáng)斯基;內(nèi)坦·彼得弗洛恩德
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N20/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種在多個(gè)計(jì)算節(jié)點(diǎn)上分布式訓(xùn)練機(jī)器學(xué)習(xí)模型的系統(tǒng)，其特征在于，包括：

服務(wù)器，與多個(gè)計(jì)算節(jié)點(diǎn)連接，用于在多輪訓(xùn)練迭代中控制機(jī)器學(xué)習(xí)模型的訓(xùn)練，所述多輪迭代分別包括：

指示所述多個(gè)計(jì)算節(jié)點(diǎn)分別通過(guò)如下方式對(duì)存儲(chǔ)在每個(gè)相應(yīng)處理節(jié)點(diǎn)本地的所述機(jī)器學(xué)習(xí)模型的相應(yīng)本地副本進(jìn)行訓(xùn)練：本地計(jì)算多個(gè)累積梯度中的相應(yīng)累積梯度，其中，所述多個(gè)累積梯度分別包括至少一個(gè)梯度，

分別從所述多個(gè)計(jì)算節(jié)點(diǎn)獲取所述多個(gè)累積梯度，

通過(guò)將所述機(jī)器學(xué)習(xí)模型與所述多個(gè)累積梯度的匯總值合并來(lái)創(chuàng)建更新的機(jī)器學(xué)習(xí)模型；

其中，在所述獲取和創(chuàng)建階段，所述多個(gè)計(jì)算節(jié)點(diǎn)中的至少一個(gè)計(jì)算節(jié)點(diǎn)計(jì)算新的相應(yīng)累積梯度，所述新的相應(yīng)累積梯度在下一輪訓(xùn)練迭代中與所述機(jī)器學(xué)習(xí)模型合并。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述服務(wù)器分別將所述相應(yīng)本地副本分發(fā)給所述多個(gè)計(jì)算節(jié)點(diǎn)，其中，在所述分發(fā)期間，所述至少一個(gè)計(jì)算節(jié)點(diǎn)計(jì)算所述新的相應(yīng)累積梯度。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述多個(gè)計(jì)算節(jié)點(diǎn)分別從所述服務(wù)器獲取相應(yīng)本地副本，其中，在所述獲取期間，所述至少一個(gè)計(jì)算節(jié)點(diǎn)計(jì)算所述新的相應(yīng)累積梯度。

4.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其特征在于，通過(guò)應(yīng)用隨機(jī)梯度下降法來(lái)計(jì)算由所述多個(gè)計(jì)算節(jié)點(diǎn)中的每個(gè)計(jì)算節(jié)點(diǎn)計(jì)算的至少一個(gè)梯度，以最小化所述相應(yīng)本地副本的損失函數(shù)，所述損失函數(shù)是根據(jù)所述機(jī)器學(xué)習(xí)模型選擇的。

5.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其特征在于，所述多個(gè)計(jì)算節(jié)點(diǎn)分別使用訓(xùn)練數(shù)據(jù)集的子集來(lái)訓(xùn)練所述相應(yīng)本地副本。

6.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其特征在于，所述匯總值是所述多個(gè)累積梯度的平均值。

7.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其特征在于，所述多個(gè)計(jì)算節(jié)點(diǎn)分別使用至少一個(gè)額外梯度重復(fù)更新相應(yīng)的累積梯度，直到超過(guò)延遲閾值為止。

8.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的系統(tǒng)，其特征在于，在所述多輪訓(xùn)練迭代中的每輪訓(xùn)練迭代開始時(shí)，所述至少一個(gè)計(jì)算節(jié)點(diǎn)將所述更新的機(jī)器學(xué)習(xí)模型的相應(yīng)副本與在前一輪訓(xùn)練迭代的獲取和創(chuàng)建階段計(jì)算出的、未與所述更新的機(jī)器學(xué)習(xí)模型合并的新的相應(yīng)累積梯度在本地進(jìn)行合并。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，在所述新的累積梯度與在前一輪訓(xùn)練迭代中創(chuàng)建的所述更新的機(jī)器學(xué)習(xí)模型在本地合并之前，所述至少一個(gè)計(jì)算節(jié)點(diǎn)阻止所述服務(wù)器獲取所述新的累積梯度。

10.一種在多個(gè)計(jì)算節(jié)點(diǎn)上分布式訓(xùn)練機(jī)器學(xué)習(xí)模型的方法，其特征在于，包括：

通過(guò)多輪訓(xùn)練迭代來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型，所述多輪迭代分別包括：

指示多個(gè)計(jì)算節(jié)點(diǎn)分別通過(guò)如下方式對(duì)所述機(jī)器學(xué)習(xí)模型的相應(yīng)本地副本進(jìn)行訓(xùn)練：本地計(jì)算多個(gè)累積梯度中的相應(yīng)累積梯度，所述多個(gè)累積梯度分別包括至少一個(gè)梯度，

在確定可分別從所述多個(gè)計(jì)算節(jié)點(diǎn)獲取相應(yīng)的累積梯度后，獲取所述多個(gè)累積梯度，

通過(guò)將所述機(jī)器學(xué)習(xí)模型與所述多個(gè)累積梯度的匯總值合并來(lái)創(chuàng)建更新的機(jī)器學(xué)習(xí)模型；

其中，在所述獲取和創(chuàng)建階段，所述多個(gè)計(jì)算節(jié)點(diǎn)中的至少一個(gè)計(jì)算節(jié)點(diǎn)計(jì)算新的相應(yīng)累積梯度，所述新的相應(yīng)累積梯度在下一輪訓(xùn)練迭代中與所述機(jī)器學(xué)習(xí)模型合并。