[發明專利]機器學習模型的異步訓練

有效

• 申請號: 201610730381.8
• 申請日: 2016-08-25
• 公開（公告）號: CN107784364B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 王太峰;陳薇;劉鐵巖;高飛;葉啟威
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本公開的實施例涉及機器學習模型的異步訓練。服務器從工作機接收通過對機器學習模型進行訓練而生成的反饋數據。這些反饋數據是工作機利用自己的訓練數據獲得的，并且與該機器學習模型的參數集在這個特定工作機處的先前值相關聯。服務器確定所述先前值與參數集在服務器處的當前值之間的差異。這個當前值可能是由于其他工作機的操作而經過了一次或多次的更新。繼而，服務器可以基于反饋數據和參數集的值之間的差異，來更新參數集的當前值。由此，這種更新不僅考慮了每個工作機的訓練結果，還對不同工作機之間的延遲做出了適當的補償。

背景技術

機器學習在諸如語音識別、計算機視覺和自然語言處理等諸多領域具有廣泛的應用。例如，深度神經網絡(Deep Neural Networks，DNN)在大數據和強大的計算資源的基礎上，能夠并行訓練具有多個層級、多個參數的機器學習模型。在訓練階段，需要根據給定的訓練數據集和優化目標，對模型的一個或多個參數進行訓練。例如，對于神經網絡的訓練而言，可以采用隨機梯度下降方法。

已知可以將訓練數據集分布在多個工作機之間。這些工作機利用各自的訓練數據對模型參數進行優化，并且將其結果返回給一個中央服務器。然而，分布式或者說異步模型訓練的核心問題在于各個工作機之間的不匹配。例如，當一個工作機返回其參數更新時，服務器處的模型參數可能已經被其他工作機更新了一次或多次。因此，在機器學習模型的異步訓練中，期望降低或者消除這種延遲或失配。

發明內容

傳統的所有方案均基于這樣的理論認識，即，各個工作機之間的延遲或不匹配是由不同工作機之間的性能和/或服務器與不同工作機之間通信不完全一致等原因所導致。因此，傳統方案的關注點都在于通過優化調度等方法減小延遲。然而發明人通過研究發現，這種延遲實際上是異步架構所固有的，不可能通過優化調度而被消除。因此，本公開的實施例旨在對不同工作機之間的延遲進行適當的補償，而不是去嘗試消除這種延遲，這從工作原理和機制上都顯著不同于任何已知方案。

總體上，根據本公開的實施例，服務器從工作機接收通過對機器學習模型進行訓練而生成的反饋數據。這些反饋數據是工作機利用自己的訓練數據獲得的，并且與該機器學習模型的參數集在這個特定工作機處的先前值相關聯。服務器確定所述先前值與參數集在服務器處的當前值之間的差異。將會理解，這個當前值可能是由于其他工作機的操作而經過了一次或多次的更新。繼而，服務器可以基于反饋數據和參數集的值之間的差異，來更新參數集的當前值。由此，這種更新不僅考慮了每個工作機的訓練結果，還對不同工作機之間的延遲做出了適當的補償。實踐已經證明，與強行試圖消除延遲的傳統方案相比，本公開的實施例能夠顯著降低不同工作機之間的不匹配，實現對機器學習模型的有效而高效的異步訓練。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識要求保護的主題的關鍵特征或主要特征，也無意限制要求保護的主題的范圍。

附圖說明

圖1示出了能夠實施本公開的實施例的環境的方框圖；

圖2示出了根據本公開的實施例的用于訓練模型的方法的流程圖；

圖3A-圖3D示出了根據本公開的實施例的方案與傳統方案之間的性能比較圖；

圖4A-圖4D示出了根據本公開的實施例的方案與傳統方案之間的性能比較圖；以及

圖5示出了其中可以實施本公開的一個或多個實施例的計算系統/服務器的框圖。

這些附圖中，相同或相似參考符號用于表示相同或相似元素。

具體實施方式

現在將參照若干實施例來論述本公開。應當理解，論述了這些實施例僅是為了使得本領域普通技術人員能夠更好地理解且因此實現本公開，而不是暗示對本公開的范圍的任何限制。