[發明專利]分布式機器學習方法和系統

有效

• 申請號: 201610968121.4
• 申請日: 2016-10-31
• 公開（公告）號: CN108009642B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 江佳偉;崔斌;黃明;肖品;胡奔龍;余樂樂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

1.一種分布式機器學習方法，包括：

接收當前計算節點的全局參數獲取指令；

判斷所述當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內；

若是，將全局參數發送給所述當前計算節點；

接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數，根據接收所述更新參數的時間戳與全局參數時間戳計算延遲參數，根據所述延遲參數及所述更新參數對所述全局參數進行更新得到更新的全局參數進行存儲。

2.如權利要求1所述的分布式機器學習方法，其特征在于：所述判斷所述當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內的步驟具體為：

判斷所述當前計算節點當前的迭代輪數與所有計算節點中當前的最小迭代輪數的差值是否在第一預設范圍內；或者

判斷所述當前計算節點當前的迭代輪數與所有計算節點中當前的最大迭代輪數的差值是否在第二預設范圍內。

3.如權利要求1所述的分布式機器學習方法，其特征在于：所述將全局參數發送給所述當前計算節點的步驟包括：

將所述全局參數發送給所述當前計算節點，并獲取所述當前計算節點接收所述全局參數的時間戳作為更新的全局參數時間戳進行存儲。

4.如權利要求1所述的分布式機器學習方法，其特征在于：所述接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數，根據接收所述更新參數的時間戳與全局參數時間戳計算延遲參數，根據所述延遲參數及所述更新參數對所述全局參數進行更新得到更新的全局參數進行存儲的步驟具體包括：

接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數；

獲取接收所述更新參數的時間戳作為全局參數當前時間戳，計算所述全局參數當前時間戳與所述全局參數時間戳的差值作為延遲參數；

以所述更新參數與所述延遲參數的比值對所述全局參數進行更新得到更新的全局參數進行存儲。

5.一種分布式機器學習系統，包括：

指令接收模塊，用于接收當前計算節點的全局參數獲取指令；

判斷模塊，用于判斷所述當前計算節點當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值是否在預設范圍內；

全局參數發送模塊，當當前的迭代輪數與其它計算節點當前的迭代輪數之間的差值在預設范圍內時，將全局參數發送給所述當前計算節點；

更新模塊，用于接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數，根據接收所述更新參數的時間戳與全局參數時間戳計算延遲參數，根據所述延遲參數及所述更新參數對所述全局參數進行更新得到更新的全局參數進行存儲。

6.如權利要求5所述的分布式機器學習系統，其特征在于：所述判斷模塊，具體用于：

判斷所述當前計算節點當前的迭代輪數與所有計算節點中當前的最小迭代輪數的差值是否在第一預設范圍內；或

用于判斷所述當前計算節點當前的迭代輪數與所有計算節點中當前的最大迭代輪數的差值是否在第二預設范圍內。

7.如權利要求5所述的分布式機器學習系統，其特征在于：所述全局參數發送模塊，具體用于將所述全局參數發送給所述當前計算節點，并獲取所述當前計算節點接收所述全局參數的時間戳作為更新的全局參數時間戳進行存儲。

8.如權利要求5所述的分布式機器學習系統，其特征在于：所述更新模塊具體包括：

接收單元，用于接收所述當前計算節點根據所述全局參數執行當前的迭代輪數的迭代學習之后發送的更新參數；

計算單元，用于獲取接收所述更新參數的時間戳作為全局參數當前時間戳，計算所述全局參數當前時間戳與所述全局參數時間戳的差值作為延遲參數；

更新單元，用于以所述更新參數與所述延遲參數的比值對所述全局參數進行更新得到更新的全局參數進行存儲。