[發(fā)明專利]機器學習模型的異步訓練

有效

• 申請?zhí)枺?/td>: 201610730381.8
• 申請日: 2016-08-25
• 公開（公告）號: CN107784364B
• 公開（公告）日: 2021-06-15
• 發(fā)明（設計）人: 王太峰;陳薇;劉鐵巖;高飛;葉啟威
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責任公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種計算機實現(xiàn)的方法，包括：

在保持機器學習模型的副本的服務器處：

從各自具有自身訓練數(shù)據(jù)并布置為在本地計算通過基于自身訓練數(shù)據(jù)以及從所述服務器接收的所述機器學習模型的參數(shù)集的先前值對所述機器學習模型進行訓練而生成的反饋數(shù)據(jù)的多個工作機中的至少一個工作機，接收與所述參數(shù)集的所述先前值相關(guān)聯(lián)的所述反饋數(shù)據(jù)；

確定所述先前值與所述參數(shù)集的當前值之間的差異；以及

基于所述反饋數(shù)據(jù)和所述差異，更新所述當前值以獲得所述參數(shù)集的更新值，

其中所述更新包括：執(zhí)行異步隨機梯度下降更新，每個異步隨機梯度下降更新由從所述多個工作機中的一個工作機接收到所述反饋數(shù)據(jù)而被觸發(fā)，

其中所述反饋數(shù)據(jù)指示所述機器學習模型的優(yōu)化目標相對于所述參數(shù)集的所述先前值的顯著變化趨勢，其中所述顯著變化趨勢由所述優(yōu)化目標相對于所述參數(shù)集的所述先前值的梯度來表示，以及

其中基于所述反饋數(shù)據(jù)和所述差異，更新所述當前值以獲得所述參數(shù)集的更新值包括：以更新量來更新所述參數(shù)，所述更新量由優(yōu)化目標的梯度、所述先前值與所述當前值之間的差異、學習率以及用于所述梯度的任何延遲的補償項來確定，其中所述補償項根據(jù)由所述梯度中的每個元素的絕對值的平方形成的向量以及所述學習率和控制參數(shù)的乘積來確定。

2.根據(jù)權(quán)利要求1所述的方法，其中更新所述當前值包括：

基于所述顯著變化趨勢來確定變換的系數(shù)；以及

通過向所述差異應用所述變換來確定所述當前值與所述更新值之間的差量。

3.根據(jù)權(quán)利要求2所述的方法，其中所述變換是線性變換，所述系數(shù)是線性變化率。

4.根據(jù)權(quán)利要求3所述的方法，其中確定所述變換的系數(shù)包括：

計算所述梯度的張量積作為對所述線性變化率的無偏估計。

5.根據(jù)權(quán)利要求3所述的方法，其中確定所述變換的系數(shù)包括：

基于所述梯度確定所述優(yōu)化目標相對于所述參數(shù)集中各個參數(shù)的變化率的量值；以及

基于所述變化率的量值來確定所述線性變化率。

6.根據(jù)權(quán)利要求5所述的方法，其中基于所述變化率的量值來確定所述線性變化率包括：

計算所述變化率的量值的平方；以及

基于所述變化率的量值的平方來確定所述線性變化率。

7.根據(jù)權(quán)利要求1所述的方法，還包括：

從所述工作機接收針對所述參數(shù)集的請求；以及

響應于所述請求，向所述工作機發(fā)送所述參數(shù)集的所述更新值。

8.根據(jù)權(quán)利要求1所述的方法，其中所述機器學習模型包括神經(jīng)網(wǎng)絡模型，并且所述優(yōu)化目標由交叉熵損失函數(shù)表示。