[發明專利]數據處理方法和裝置、存儲介質及電子設備

有效

• 申請號: 202110663774.2
• 申請日: 2021-06-16
• 公開（公告）號: CN113254215B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 弓靜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周婷婷

1.一種數據處理方法，其特征在于，包括：

獲取數據處理請求，其中，所述數據處理請求用于請求對深度學習網絡中網絡參數的權重進行更新處理；

響應所述數據處理請求，確定所述網絡參數的權重各自所在權重矩陣對應的矩陣結構信息；

根據所述矩陣結構信息將所述權重矩陣分配給各個數據處理進程，其中包括：根據所述矩陣結構信息中記錄的所述權重矩陣內的元素數量，對所述權重矩陣進行排序以得到排序結果；按照所述排序結果將所述權重矩陣依次分配給各個所述數據處理進程，且各個所述數據處理進程各自分配到的對象權重矩陣將達到均勻分配條件，其中，在任意兩個所述數據處理進程各自分配到的所述對象權重矩陣累加的元素總量之間的差值小于第一閾值的情況下，確定達到所述均勻分配條件；

在各個所述數據處理進程基于各自對應的所述對象權重矩陣確定出參考梯度值的情況下，根據所述參考梯度值對所述數據處理進程中分配到的所述對象權重矩陣進行更新處理。

2.根據權利要求1所述的方法，其特征在于，所述按照所述排序結果將所述權重矩陣依次分配給各個所述數據處理進程包括：

按照所述排序結果將元素數量最大的第一權重矩陣分配給第一數據處理進程；

將除所述第一權重矩陣之外的其他權重矩陣依次作為當前矩陣，并對所述當前矩陣執行以下操作，直至遍歷全部權重矩陣：

確定處于待接收分配狀態的當前數據處理進程的剩余處理量，其中，所述當前數據處理進程的最大處理量根據所述第一權重矩陣內的元素數量確定；

在所述當前矩陣內的元素數量小于或等于所述當前數據處理進程的所述剩余處理量的情況下，將所述當前矩陣分配給所述當前數據處理進程；

在所述當前矩陣內的元素數量大于所述當前數據處理進程的所述剩余處理量的情況下，獲取下一個數據處理進程作為當前數據處理進程；

其中，在遍歷完全部權重矩陣的情況下，確定仍存在剩余處理量的目標數據處理進程，并對所述目標數據處理進程所分配到的所述對象權重矩陣執行元素補零操作，直至各個所述數據處理進程中各自分配到的所述對象權重矩陣累計的元素總量之間的差值小于所述第一閾值。

3.根據權利要求1所述的方法，其特征在于，所述根據所述矩陣結構信息將所述權重矩陣分配給各個數據處理進程還包括：

根據所述矩陣結構信息中記錄的權重矩陣內的元素數量，對所述權重矩陣進行分組聚類，得到多個權重矩陣集合，其中，在各個所述權重矩陣集合中的權重矩陣累加的元素總量之間的差值小于第二閾值的情況下，確定達到所述均勻分配條件；

將所述多個權重矩陣集合分別分配給各個所述數據處理進程。

4.根據權利要求1所述的方法，其特征在于，所述根據所述參考梯度值對所述數據處理進程中分配到的所述對象權重矩陣進行更新處理包括：

確定接收到所述數據處理請求時所在的當前更新周期；

根據所述當前更新周期確定出的所述參考梯度值，獲取所述當前更新周期內的當前動量參數，其中，所述當前動量參數包括一階當前動量參數和二階當前動量參數；

根據所述當前動量參數對所述對象權重矩陣進行更新處理。

5.根據權利要求4所述的方法，其特征在于，所述根據所述當前動量參數對所述對象權重矩陣進行更新處理包括：

獲取基于所述當前動量參數計算得到的中間值，以及在所述當前更新周期之前的上一個更新周期的歷史權重；

根據所述中間值對所述歷史權重進行更新處理，得到更新后的權重。

6.根據權利要求4所述的方法，其特征在于，所述根據所述當前更新周期確定出的所述參考梯度值，獲取所述當前更新周期內的當前動量參數包括：

根據在所述當前更新周期之前的上一個更新周期內得到的一階歷史動量參數及所述當前更新周期內得到的所述參考梯度值，確定所述當前更新周期內的所述一階當前動量參數；

根據在所述當前更新周期之前的上一個更新周期內得到的二階歷史動量參數及所述當前更新周期內得到的所述參考梯度值，確定所述當前更新周期內的所述二階當前動量參數。