[發明專利]一種數據處理的方法以及裝置

在審

• 申請號: 202010789270.0
• 申請日: 2020-08-07
• 公開（公告）號: CN114064667A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 劉華敏;劉伯恒;殷錫藝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27;G06F16/21;G06F9/50
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種數據處理的方法，其特征在于，包括：

確定有目標數據集合需要進行數據更新時，獲取當前運行的協程總數量；

當所述協程總數量低于預設數量閾值時，為所述目標數據集合創建目標協程，并將所述協程總數量加1，所述預設數量閾值是根據資源配置信息確定的；

調用所述目標協程，以數據切片為數據更新單位，對數據庫中存儲的所述目標數據集合進行數據更新；

釋放所述目標協程，并將所述協程總數量減1。

2.如權利要求1所述的方法，其特征在于，調用所述目標協程，以數據切片為數據更新單位，對數據庫中存儲的所述目標數據集合進行數據更新，包括：

分別獲取每一拉取的目標數據對應的數據類型；

按照各目標數據的數據類型，將各目標數據添加至不同的數據切片中；

根據數據切片中包含的多個目標數據，對數據庫進行數據更新。

3.如權利要求2所述的方法，其特征在于，進一步包括：

當確定當前運行的協程總數量為指定數量時，對創建的所有協程進行釋放。

4.如權利要求1-3任一項所述的方法，其特征在于，在調用所述目標協程，以數據切片為數據更新單位，對數據庫中存儲的所述目標數據集合進行數據更新之前，進一步包括：

采用互斥鎖，將各目標數據進行加鎖保護；

在目標數據集合進行數據更新之后，進一步包括：

將各目標數據進行解鎖處理。

5.如權利要求1-3任一項所述的方法，其特征在于，進一步包括：

通過所述目標協程以及相應的協程通道，接收其它協程發送的指定數據，并調用所述目標協程對目標數據和接收的指定數據進行數據統計處理；

其中，所述協程通道用于不同協程之間的數據通信。

6.一種數據處理的裝置，其特征在于，包括：

獲取單元，用于確定有目標數據集合需要進行數據更新時，獲取當前運行的協程總數量；

創建單元，用于當所述協程總數量低于預設數量閾值時，為所述目標數據集合創建目標協程，并將所述協程總數量加1，所述預設數量閾值是根據資源配置信息確定的；

更新單元，用于調用所述目標協程，以數據切片為數據更新單位，對數據庫中存儲的所述目標數據集合進行數據更新；

釋放單元，用于釋放所述目標協程，并將所述協程總數量減1。

7.如權利要求6所述的裝置，其特征在于，所述更新單元用于：

分別獲取每一拉取的目標數據對應的數據類型；

按照各目標數據的數據類型，將各目標數據添加至不同的數據切片中；

根據數據切片中包含的多個目標數據，對數據庫進行數據更新。

8.如權利要求7所述的裝置，其特征在于，所述釋放單元還用于：

當確定當前運行的協程總數量為指定數量時，對創建的所有協程進行釋放。

9.如權利要求6-8任一項所述的裝置，其特征在于，所述更新單元還用于：

采用互斥鎖，將各目標數據進行加鎖保護；

在目標數據集合進行數據更新之后，進一步包括：

將各目標數據進行解鎖處理。

10.如權利要求6-8任一項所述的裝置，其特征在于，所述更新單元還用于：

通過所述目標協程以及相應的協程通道，接收其它協程發送的指定數據，并調用所述目標協程對目標數據和接收的指定數據進行數據統計處理；

其中，所述協程通道用于不同協程之間的數據通信。