[發明專利]分布式機器學習方法和系統

有效

• 申請號: 201610968121.4
• 申請日: 2016-10-31
• 公開（公告）號: CN108009642B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 江佳偉;崔斌;黃明;肖品;胡奔龍;余樂樂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

一種分布式機器學習方法，包括：接收當前計算節點的全局參數獲取指令；判斷當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內；若是，將全局參數發送給當前計算節點；接收當前計算節點根據全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數，根據接收更新參數的時間戳與全局參數時間戳計算延遲參數，根據延遲參數及更新參數對全局參數進行更新得到更新的全局參數進行存儲，本申請進一步提供一種分布式機器學習系統。不同計算節點之間的速度差異限制在預設范圍內，形成有限異步并行協議的分布式機器學習，避免了單點瓶頸，減小不同計算節點產生的更新對全局參數的擾動的影響，確保收斂穩定。

技術領域

本發明涉及分布式計算和機器學習交叉技術領域，特別是涉及一種適合分布式機器學習的參數同步優化方法和系統。

背景技術

隨著大數據時代的到來，機器學習算法尤其是適用于大規模數據的深度學習算法正得到越來越廣泛的關注和應用，包括圖像識別、推薦以及用戶行為預測等。然而，隨著輸入訓練數據(機器學習中用于求解神經網絡模型的數據)和神經網絡模型的增大，單節點進行機器學習訓練存在內存限制以及數周甚至數月的訓練耗時等問題，分布式機器學習應運而生。

已知的分布式機器學習包括基于同步并行協議的分布式機器學習和基于異步并行協議的分布式機器學習。典型的分布式機器學習系統包括參數服務器和計算節點。其中，基于同步并行協議的分布式機器學習是指在一個分布式機器學習任務中，所有的計算節點完成相同輪數的迭代后將參數更新發送給參數服務器，參數服務器根據所有計算節點的參數更新得到新的全局參數，并將新的全局參數廣播給所有計算節點，計算節點接受到新的全局參數后才能開始下一輪迭代。基于異步并行協議的分布式機器學習是指在一個分布式機器學習任務中，每個計算節點在完成一輪迭代后將參數更新發送給參數服務器，參數服務器直接根據該參數更新得到新的全局參數，該計算節點直接從參數服務器獲取更新的全局參數開始下一輪迭代而不需要等待其它計算節點。

然而以上分布式機器學習存在以下缺陷：

同步并行協議的分布式機器學習中參數服務器只能是一個物理服務器，在模型參數很大時會成為單點瓶頸，在工業界的分布式環境中，因為計算節點的性能差異和網絡延遲，部分計算節點的速度會明顯比其它計算節點慢，從而整個系統的速度會被最慢的計算節點所限制。異步并行協議的分布式機器學習中因為允許不同計算節點之間存在速度差別，參數服務器的全局參數和計算節點的參數副本之間會存在不一致性，不同計算節點用不一致的參數副本計算出的更新會擾亂全局參數，造成學習模型全局收斂的不穩定。

發明內容

基于此，有必要提供一種無單點瓶頸、收斂穩定的分布式機器學習方法和系統。

一種分布式機器學習方法，包括：

接收當前計算節點的全局參數獲取指令；

判斷所述當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內；

若是，將全局參數發送給所述當前計算節點；

接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數，根據接收所述更新參數的時間戳與全局參數時間戳計算延遲參數，根據所述延遲參數及所述更新參數對所述全局參數進行更新得到更新的全局參數進行存儲。

一種分布式機器學習系統，包括：

指令接收模塊，用于接收當前計算節點的全局參數獲取指令；

判斷模塊，用于判斷所述當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內；

全局參數發送模塊，當當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值在預設范圍內時，將全局參數發送給所述當前計算節點；