[發明專利]一種數據處理系統及方法

有效

• 申請號: 201611110243.6
• 申請日: 2016-12-06
• 公開（公告）號: CN108154237B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 張長征;白小龍;涂丹丹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N7/00
• 分類號: G06N7/00
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種數據處理裝置，其特征在于，所述數據處理裝置包括：梯度計算模塊,累計模塊,以及發送模塊；

所述梯度計算模塊，用于在一次迭代運算過程中，從樣本數據集依次讀取多個子樣本數據集到所述數據處理裝置的內存中，所述子樣本數據集包括至少一個樣本數據,所述樣本數據為企業數據，所述數據處理裝置的內存是指承載所述數據處理裝置的處理器的內存，將讀入的每個子樣本數據集分別輸入機器學習模型，計算所述機器學習模型的多個參數中的每個參數的梯度信息,并且,在利用一個子樣本數據集計算完每個參數的一組梯度信息之后,將所述內存中的這一個子樣本數據集刪掉后再讀取下一個子樣本數據集到所述內存中，并利用下一個子樣本數據集計算每個參數的另一組梯度信息，所述機器學習模型是具有初始化全局參數的機器學習模型,或者是在上一次迭代運算中經過更新的機器學習模型；

所述累計模塊，用于在所述一次迭代運算過程中，將計算得到的每個參數的多組梯度信息分別累計后得到所述每個參數的更新梯度；

所述發送模塊，用于在所述一次迭代運算過程中，將每個參數的所述更新梯度發送,所述每個參數的所述更新梯度用于更新所述機器學習模型。

2.如權利要求1所述的數據處理裝置，其特征在于，所述梯度計算模塊,所述累計模塊,以及所述發送模塊進一步用于參與所述一次迭代運算之后的多次迭代運算，直至所述機器學習模型收斂或者完成指定迭代次數的計算；

在所述一次迭代運算之后的多次迭代運算中的每一次迭代運算中,所述梯度計算模塊和所述累計模塊,以及所述發送模塊重復在所述一次迭代運算過程中的動作，在所述一次迭代運算以及所述一次迭代運算之后的多次迭代運算中，所述機器學習模型在采用一次迭代運算中得到的更新梯度被更新后，被輸入后一次的迭代運算。

3.如權利要求1或2所述的數據處理裝置，其特征在于，所述累計模塊具體用于:

針對根據所述讀取的多個子樣本數據集，分別得到的每個參數的多組梯度信息，分別將屬于同一個參數的多組梯度信息累計，得到每個參數的更新梯度。

4.如權利要求1或2所述的數據處理裝置，其特征在于，所述累計模塊具體用于:

針對根據每一個子樣本數據集，得到的每個參數的一組梯度信息，分別將屬于同一個參數的一組梯度信息累計，得到每個參數的累計梯度，這樣，針對所述讀取的多個子樣本數據集，得到每個參數的多個累計梯度，再將每個參數的多個累計梯度分別累計，得到每個參數的更新梯度。

5.如權利要求1或2所述的數據處理裝置，其特征在于，所述累計模塊具體用于:

針對根據所述讀取的多個子樣本數據集，分別得到的每個參數的多組梯度信息，分別將屬于同一個參數的多組梯度信息收集在一起，每個參數的收集在一起的多組梯度信息作為每個參數的所述更新梯度。

6.如權利要求1或2所述的數據處理裝置，其特征在于，所述梯度計算模塊具體用于，在所述一次迭代運算過程中，從所述樣本數據集依次讀取多個子樣本數據集，將讀入的每個子樣本數據集分別輸入機器學習模型，讀取并利用中間計算結果，計算所述機器學習模型的多個參數中的每個參數的梯度信息,所述中間計算結果作為輸入信息參與計算所述梯度信息，并且,在利用一個子樣本數據集計算完每個參數的一組梯度信息之后,將這一個子樣本數據集刪掉后再讀取下一個子樣本數據集，并利用下一個子樣本數據集計算每個參數的另一組梯度信息，在所述中間計算結果被使用完畢之后，刪除所述中間計算結果，并且，刪除所述中間計算結果的操作要在讀取下一個子樣本數據集之前完成。

7.一種數據處理系統，其特征在于，所述系統包括：模型更新模塊，以及如權利要求1所述的數據處理裝置，

所述發送模塊，進一步用于在所述一次迭代運算過程中，將每個參數的所述更新梯度發送給所述模型更新模塊；

所述模型更新模塊用于在所述一次迭代運算過程中，接收每個參數的所述更新梯度，并利用每個參數的所述更新梯度更新所述機器學習模型。

8.如權利要求7所述的數據處理系統，其特征在于，所述數據處理裝置的數量為1個，并且所述模型更新模塊的數量為一個。