[發明專利]分布式隨機梯度下降的自適應學習率調度

有效

• 申請號: 201910165129.0
• 申請日: 2019-03-05
• 公開（公告）號: CN110322020B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: P·杜貝;S·杜塔;G·喬希;P·A·納格普卡
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;李崢宇

本發明涉及分布式隨機梯度下降的自適應學習率調度。用于執行機器學習的方法包括使用中央參數服務器向多個模型學習器分配分配處理作業。處理作業包括基于當前參數集求解梯度。在返回來自處理作業的結果時，參數集被迭代。基于作業被分配時的參數集與作業被返回時的參數集之間的差異，來確定第二梯度的求解的陳舊性程度。用以基于求解的梯度對參數進行迭代的學習率與確定的陳舊性程度成比例。

技術領域

本發明涉及分布式隨機梯度下降(SGD)，更具體地說，涉及分布式SGD中的自適應學習率調度。

背景技術

隨機梯度下降(SGD)是一種用于最小化目標函數的方法?？梢栽跈C器學習中使用SGD以迭代目標函數，以便將錯誤最小化并從而增加所構建的模型中的正確性。傳統上，使用對訓練數據串行工作的單個處理器來執行SGD。但是，由于訓練數據量很大，等待單個處理器的速度可能會非常慢。

發明內容

一種用于執行機器學習的方法包括使用中央參數服務器向第一模型學習器(learner)分配第一處理作業。第一處理作業包括基于第一狀態的參數集求解第一梯度。使用中央參數服務器向第二模型學習器分配第二處理作業。第二處理作業包括基于第一狀態的參數集求解第二梯度。在第一模型學習器中執行第一處理作業。基于第一處理作業的執行的結果，將參數集從第一狀態迭代到第二狀態。在第二模型學習器中執行第二處理作業?；诘谝惶幚碜鳂I的執行的結果，將參數集從第一狀態迭代到第三狀態?；诘谝粻顟B的參數集和第三狀態的參數集之間的差異，來確定第二梯度的求解的陳舊性程度?；诘诙幚碜鳂I的執行的結果和與所確定的陳舊性程度成比例的學習率，將參數集從第二狀態迭代到第四狀態。

用于執行機器學習器的系統包括中央參數服務器，其被配置為異步地分配處理作業和管理參數集。多個模型學習器與中央參數服務器通信，并且被配置為接收分配的處理作業和參數集并從中求解梯度。中央參數服務器還被配置為針對每個分配的處理作業設置與對應的陳舊性程度成反比的學習率。

用于執行隨機梯度下降的計算機程序產品包括計算機可讀存儲介質，其具有與其一起體現的程序指令。程序指令由計算機可執行以使計算機通過計算機向第一模型學習器分配第一處理作業。第一處理作業包括基于第一狀態的參數集求解第一梯度。通過計算機向第二模型學習器分配第二處理作業。第二處理作業包括基于第一狀態的參數集求解第二梯度。在第一模型學習器中執行第一處理作業?；诘谝惶幚碜鳂I的執行結果，通過計算機將參數集從第一狀態迭代到第二狀態。在第二模型學習器中執行第二處理作業?；诘谝惶幚碜鳂I的執行結果，通過計算機將參數集從第一狀態迭代到第三狀態。通過計算機基于第一狀態的參數集和第三狀態的參數集之間的差異，確定第二梯度的求解的陳舊性程度。通過計算機基于第二處理作業的執行結果和與所確定的陳舊性程度成比例的學習率，將參數集從第二狀態迭代到第四狀態。

附圖說明

當結合附圖考慮時，通過參考以下詳細描述，將更好理解本發明及其許多附帶方面的更完整的理解，其中：

圖1是圖示出根據本發明示例性實施例的用于執行分布式隨機梯度下降的裝置的示意圖；

圖2是圖示出根據本發明示例性實施例的用于執行分布式SGD的方法的流程圖；

圖3是圖示出根據本發明示例性實施例的用于根據梯度陳舊性來更新目標函數參數的方法的流程圖；以及

圖4示出了根據本公開的實施例的能夠實現該方法和裝置的計算機系統的示例。

具體實施方式

在描述附圖中所圖示的本發明的示例性實施例時，為了清楚起見采用了特定的術語。然而，本發明并不旨在限于該說明或任何特定術語，并且應理解，每個元件包括所有等同物。