[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201810621153.6
• 申請日: 2018-06-15
• 公開（公告）號: CN108846095A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 向輝;王奇剛;王鵬;胡文暉;李梅
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/54
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張振偉;張穎玲

1.一種數據處理方法，所述方法包括：

從消息隊列中獲取M個樣本數據，M大于等于1，其中，M與工作節點自身的數據處理能力相關聯；

分別對所述M個樣本數據進行計算，得到針對訓練模型的M個訓練參數；

確定所述消息隊列中的樣本數據為空時，將所述M個訓練參數向參數服務器發送。

2.根據權利要求1所述方法，所述方法還包括：

確定所述消息隊列中的樣本數據不為空時，利用所述M個訓練參數在本地更新所述訓練模型的模型參數，得到所述訓練模型的M個本地模型參數。

3.根據權利要求2所述的方法，確定所述消息隊列中的樣本數據為空時，將所述M個訓練參數向參數服務器發送，包括：

確定所述消息隊列中的樣本數據為空時，計算所述M個本地模型參數之和；

將所述M個本地模型參數之和作為訓練參數向所述參數服務器發送。

4.根據權利要求1所述的方法，從消息隊列中獲取M個樣本數據之前，所述方法還包括：

確定工作節點參數、樣本數據參數和迭代更新參數；

根據所述工作節點參數、所述樣本數據參數和所述迭代更新參數之間的乘積，配置所述消息隊列的大小。

5.根據權利要求1所述的方法，從消息隊列中獲取M個樣本數據，包括：

通過遠程過程調用RPC接口獲取所述消息隊列中的M個樣本數據。

6.一種數據處理裝置，所述裝置包括：

獲取單元，用于從消息隊列中獲取M個樣本數據，M大于等于1，其中，M與工作節點自身的數據處理能力相關聯；

計算單元，用于分別對所述M個樣本數據進行計算，得到針對訓練模型的M個訓練參數；

發送單元，用于確定所述消息隊列中的樣本數據為空時，將所述M個訓練參數向參數服務器發送。

7.根據權利要求6所述的裝置，所述裝置還包括；

更新單元，用于確定所述消息隊列中的樣本數據不為空時，利用所述M個訓練參數在本地更新所述訓練模型的模型參數，得到所述訓練模型的M個本地模型參數。

8.根據權利要求7所述的裝置，所述計算單元，具體還用于計算所述M個本地模型參數之和；

所述發送單元，具體用于確定所述消息隊列中的樣本數據為空時，將所述M個本地模型參數之和作為訓練參數向所述參數服務器發送。

9.根據權利要求6所述的裝置，所述裝置還包括：

確定單元，用于確定工作節點參數、樣本數據參數和迭代更新參數；

配置單元，用于根據所述工作節點參數、所述樣本數據參數和所述迭代更新參數之間的乘積，配置所述消息隊列的大小。

10.一種數據處理裝置，所述裝置包括：存儲器、處理器以及存儲在存儲器被處理器運動的可執行程序，其特征在于，所述處理器運行所述可執行程序時執行如權利要求1至5任一項所述的數據處理方法的步驟。