[發明專利]分布式隨機梯度下降的自適應學習率調度

有效

• 申請號: 201910165129.0
• 申請日: 2019-03-05
• 公開（公告）號: CN110322020B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: P·杜貝;S·杜塔;G·喬希;P·A·納格普卡
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;李崢宇

1.一種用于執行機器學習的方法，包括：

使用中央參數服務器向第一模型學習器分配第一處理作業，其中所述第一處理作業包括基于第一狀態的參數集求解第一梯度；

使用所述中央參數服務器向第二模型學習器分配第二處理作業，其中所述第二處理作業包括基于所述第一狀態的所述參數集求解第二梯度；

在所述第一模型學習器中執行所述第一處理作業；

基于所述第一處理作業的所述執行的結果，將所述參數集從所述第一狀態迭代到第二狀態；

在所述第二模型學習器中執行所述第二處理作業；

基于所述第二處理作業的所述執行的所述結果，將所述參數集從所述第一狀態迭代到第三狀態；

基于所述第一狀態的所述參數集和所述第三狀態的所述參數集之間的差異，來確定所述第二梯度的求解的陳舊性程度；以及

基于所述第二處理作業的所述執行的結果和與確定的所述陳舊性程度成比例的學習率，將所述參數集從所述第三狀態迭代到第四狀態。

2.根據權利要求1所述的方法，還包括：

使用所述中央參數服務器向第三模型學習器分配第三處理作業，其中所述第三處理作業包括基于所述第三處理作業被分配的時刻的當前狀態的所述參數集來求解第三梯度；

在所述第三模型學習器中執行所述第三處理作業；

基于所述第三處理作業被分配的時刻的所述當前狀態的所述參數集與所述第三處理作業被完成的時刻的當前狀態的所述參數集之間的差異，確定所述第三梯度的求解的后續陳舊性程度；以及

基于所述第三處理作業的所述執行的所述結果和與確定的所述后續陳舊性程度成比例的學習率，將所述參數集從所述第三處理作業被完成的時刻的所述當前狀態迭代到后續狀態。

3.根據權利要求1所述的方法，其中所述第一模型學習器與所述第二模型學習器不同。

4.根據權利要求2所述的方法，其中所述第一模型學習器、所述第二模型學習器和所述第三模型學習器彼此不同。

5.根據權利要求2所述的方法，其中所述第一模型學習器與所述第二模型學習器不同，并且所述第三模型學習器與所述第一模型學習器或所述第二模型學習器相同。

6.根據權利要求1所述的方法，其中所述中央參數服務器異步地分配所述第一處理作業和所述第二處理作業。

7.根據權利要求1所述的方法，其中所述中央參數服務器本地地存儲所述第一狀態的所述參數集。

8.根據權利要求1所述的方法，其中所述第一模型學習器本地地存儲所述第一狀態的所述參數集。

9.根據權利要求1所述的方法，其中所述第一模型學習器是計算機。

10.根據權利要求1所述的方法，其中所述第一模型學習器是托管在計算機上的虛擬機。

11.根據權利要求1所述的方法，其中所述第一模型學習器通過因特網與所述中央參數服務器通信。

12.一種用于執行機器學習器的系統，包括：

中央參數服務器，所述中央參數服務器被配置為異步地分配處理作業并且管理參數集；以及

多個模型學習器，所述多個模型學習器與所述中央參數服務器通信，并且被配置為接收被分配的處理作業和所述參數集并且從中求解梯度，

其中所述中央參數服務器還被配置為：為被分配的處理作業中的每個處理作業設置與對應的陳舊性程度成反比的學習率，

其中所述中央參數服務器還被配置為基于當每個處理作業被分配時所述參數集的狀態與當每個處理作業被完成時所述參數集的狀態之間的差異，來計算所述陳舊性程度。

13.根據權利要求12所述的系統，其中所述中央參數服務器包括用于在每個處理作業被分配時存儲所述參數集的狀態的存儲器模塊。