[發明專利]數據處理方法、裝置、計算機可讀介質及電子設備

在審

• 申請號: 202011020972.9
• 申請日: 2020-09-24
• 公開（公告）號: CN112162859A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 覃有儀;呂杰勤;鄧國徽
• 申請（專利權）人: 成都長城開發科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 胡琳

本申請的實施例提供了一種數據處理方法、裝置、計算機可讀介質及電子設備。該數據處理方法包括：對待處理計量數據集中包含的多個計量數據分別進行特征提取，獲得各個計量數據的特征屬性；根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，各個數據分片中包含有至少一個計量數據；根據所述各個數據分片確定目標處理線程，并根據所述目標處理線程對所述各個數據分片進行處理。本申請實施例的技術方案提升了數據處理性能。

技術領域

本申請涉及通信技術領域，具體而言，涉及一種數據處理方法、裝置、計算機可讀介質及電子設備。

背景技術

隨著電力公司業務的擴展，高級計量架構(Advanced Metering Infrastructure，AMI)系統通常需要采集大量的智能電表數據進行業務分析，例如竊電分析，電網質量分析，負荷預測。

然而，相關數據處理方案是通過多線程以及鎖同步機制完成。鎖同步機制在一定程度上解決了多線程問題，但存在以下缺點：(1)因為所有線程處理數據前均需獲取鎖，降低了數據處理性能；(2)處理事務邏輯易發生死鎖風險。

發明內容

本申請的實施例提供了一種數據處理方法、裝置、介質及電子設備，進而至少在一定程度上提升了數據處理性能。

本申請的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本申請的實踐而習得。

根據本申請實施例的一個方面，提供了一種數據處理方法，包括：對待處理計量數據集中包含的多個計量數據分別進行特征提取，獲得各個計量數據的特征屬性；根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，各個數據分片中包含有至少一個計量數據；根據所述各個數據分片確定目標處理線程，并根據所述目標處理線程對所述各個數據分片進行處理。

根據本申請實施例的一個方面，提供了一種數據處理裝置，包括：提取單元，配置為對待處理計量數據集中包含的多個計量數據分別進行特征提取，獲得各個計量數據的特征屬性；分片單元，配置為根據所述各個計量數據的特征屬性以及所述待處理計量數據集的目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片，各個數據分片中包含有至少一個計量數據；處理單元，配置為根據所述各個數據分片確定目標處理線程，并根據所述目標處理線程對所述各個數據分片進行處理。

在本申請的一些實施例中，基于前述方案，所述分片單元包括：計算子單元，配置為根據所述各個計量數據的特征屬性，計算所述各個計量數據對應的哈希碼；分片子單元，配置為根據所述哈希碼以及所述目標分片數量，對所述待處理計量數據集進行分片處理，得到多個數據分片。

在本申請的一些實施例中，基于前述方案，所述分片子單元，配置為計算所述各個計量數據對應的哈希碼與所述目標分片數量的余數，得到所述各個計量數據對應的余數；將余數相同的計量數據作為一個數據分片，得到多個數據分片。

在本申請的一些實施例中，基于前述方案，所述處理單元配置為：獲取所述各個數據分片的標識信息；根據所述標識信息，從數據庫中查找目標處理線程，所述數據庫中存儲有標識信息和處理線程之間的映射關系。

在本申請的一些實施例中，基于前述方案，所述處理單元配置為：若所述目標處理線程的數量為一個，則利用所述目標處理線程按照串行處理方式對所述各個數據分片進行處理。

在本申請的一些實施例中，基于前述方案，所述處理單元配置為：若所述目標處理線程的數量與所述目標分片數量相同，則利用所述目標處理線程按照第一并行處理方式對所述各個數據分片進行處理。

在本申請的一些實施例中，基于前述方案，所述處理單元配置為：若所述目標處理線程的數量小于所述目標分片數量，則利用所述目標處理線程按照第二并行處理方式對所述各個數據分片進行處理。