[發明專利]數據處理方法、裝置、計算機可讀介質及電子設備

在審

• 申請號: 202011020972.9
• 申請日: 2020-09-24
• 公開（公告）號: CN112162859A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 覃有儀;呂杰勤;鄧國徽
• 申請（專利權）人: 成都長城開發科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 胡琳

1.一種數據處理方法，其特征在于，所述方法包括：

對待處理計量數據集中包含的多個計量數據分別進行特征提取，獲得各個計量數據的特征屬性；

根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，各個數據分片中包含有至少一個計量數據；

根據所述各個數據分片確定目標處理線程，并根據所述目標處理線程對所述各個數據分片進行處理。

2.根據權利要求1所述的方法，其特征在于，根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，包括：

根據所述各個計量數據的特征屬性，計算所述各個計量數據對應的哈希碼；

根據所述哈希碼以及所述目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片。

3.根據權利要求2所述的方法，其特征在于，根據所述哈希碼以及所述目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，包括：

計算所述各個計量數據對應的哈希碼與所述目標分片數量的余數，得到所述各個計量數據對應的余數；

將余數相同的計量數據作為一個數據分片，得到多個數據分片。

4.根據權利要求1所述的方法，其特征在于，根據所述各個數據分片確定目標處理線程，包括：

獲取所述各個數據分片的標識信息；

根據所述標識信息，從數據庫中查找目標處理線程，所述數據庫中存儲有標識信息和處理線程之間的映射關系。

5.根據權利要求1所述的方法，其特征在于，根據所述目標處理線程對所述各個數據分片進行處理，包括：

若所述目標處理線程的數量為一個，則利用所述目標處理線程按照串行處理方式對所述各個數據分片進行處理。

6.根據權利要求1所述的方法，其特征在于，根據所述目標處理線程對所述各個數據分片進行處理，包括：

若所述目標處理線程的數量與所述目標分片數量相同，則利用所述目標處理線程按照第一并行處理方式對所述各個數據分片進行處理。

7.根據權利要求1所述的方法，其特征在于，根據所述目標處理線程對所述各個數據分片進行處理，包括：

若所述目標處理線程的數量小于所述目標分片數量，則利用所述目標處理線程按照第二并行處理方式對所述各個數據分片進行處理。

8.一種數據處理裝置，其特征在于，所述裝置包括：

提取單元，配置為對待處理計量數據集中包含的多個計量數據分別進行特征提取，獲得各個計量數據的特征屬性；

分片單元，配置為根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，各個數據分片中包含有至少一個計量數據；

處理單元，配置為根據所述各個數據分片確定目標處理線程，并根據所述目標處理線程對所述各個數據分片進行處理。

9.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的數據處理方法。

10.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如權利要求1至7中任一項所述的數據處理方法。