[發明專利]一種基于采樣的分布式機器學習慢節點處理系統及方法

有效

• 申請號: 201710082939.0
• 申請日: 2017-02-16
• 公開（公告）號: CN108446770B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 田喬;許春玲;李明齊
• 申請（專利權）人: 中國科學院上海高等研究院
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 王華英

1.一種基于采樣的分布式機器學習慢節點處理系統，其特征在于，包括多個呈并列分布的機器，每個機器均包括學習器節點和參數服務器節點，每個所述學習器節點與每個所述機器內的所述參數服務器節點分別相連，其中，所述參數服務器節點包括滑動采樣模塊，所述滑動采樣模塊用于收集所述學習器節點的之前梯度過期程度以及更新延遲樣本，并實時更新；

所述學習器節點用于獲取數據分片，進行模擬訓練，向所述參數服務器節點發起梯度更新請求，并且異步獲取所述參數服務器節點推送的模型參數，所述學習器節點還在發起梯度更新請求后，將用當前參數服務器節點的邏輯時鐘值更新自己的邏輯時鐘值，同時保存前N-1次更新時的梯度過期程度，并且所述學習器節點還用于在異步獲取所述參數服務器節點推送的模型參數之后，用當前參數服務器節點的邏輯時鐘值更新自己的邏輯時鐘值；

所述參數服務器節點用于判斷所述學習器節點是否為慢節點，根據判斷結果決定是否響應所述學習器節點發起的梯度更新請求并完成全局模型參數更新，并被動向所述學習器節點推送更新后的模型參數；

其中，判斷所述學習器節點是否為慢節點包括以下進程：

a)所述參數服務器節點上采用一個固定大小的隊列來保存所述學習器節點前若干輪發起梯度更新請求時的梯度過期程度；

b)所述參數服務器節點計算當前所述學習器節點的更新的梯度過期程度，去除隊列中梯度過期程度最大的數據，并將所述學習器節點的更新的梯度過期程度插入隊列中，如果梯度過期程度排名大于預設的閾值，則判斷學習器節點為慢節點，若否，則不是慢節點。

2.一種基于采樣的分布式機器學習慢節點處理方法，所述處理方法應用于如權利要求1所述的處理系統，其特征在于：包括以下步驟：

1)學習器節點獲取數據分片，進行模擬訓練，待訓練完成后，向參數服務器節點發起梯度更新請求；

2)所述參數服務器節點收到梯度更新請求，然后判斷所述學習器節點是否為慢節點，若是，則丟棄梯度更新請求，若否，則響應梯度更新請求，并更新模型參數，然后進行下一步；

3)對更新模型參數后的模型進行收斂性檢驗，若通過檢驗則得出訓練模型；若未通過則進行下一步；

4)所述學習器節點拉取新的模型參數，重復操作步驟1)、2)和3)，直至模型的收斂性檢驗通過。

3.根據權利要求2所述的基于采樣的分布式機器學習慢節點處理方法，其特征在于：所述基于采樣的分布式機器學習慢節點處理方法還包括在所述步驟2)之前收集所述學習器節點之前的梯度過期程度以及更新延遲樣本的步驟。

4.根據權利要求3所述的基于采樣的分布式機器學習慢節點處理方法，其特征在于：所述學習器節點的梯度過期程度＝所述參數服務器節點的邏輯時鐘值–所述學習器節點的邏輯時鐘值+1。

5.根據權利要求2所述的基于采樣的分布式機器學習慢節點處理方法，其特征在于：所述步驟1)中，所述學習器節點向參數服務器節點發起梯度更新請求后，用當前所述服務器節點的邏輯時鐘值更新自己的邏輯時鐘值。

6.根據權利要求2所述的基于采樣的分布式機器學習慢節點處理方法，其特征在于，在所述步驟2)中，當所述參數服務器節點響應梯度更新請求后，所述參數服務器節點的邏輯時鐘值加1。

7.根據權利要求2所述的基于采樣的分布式機器學習慢節點處理方法，其特征在于：在所述步驟2)中，所述模型參數更新公式為

其中，W_i代表第i次訓練后的參數，W_i,j代表第i次訓練后，第j個學習器的梯度貢獻，i、j均為不小于0的整數，λ代表學習率，λ的范圍為0-1的小數，N代表有N個學習器，N為不小于1的整數。