[發明專利]數據處理方法、裝置及電子設備

在審

• 申請號: 202110291876.6
• 申請日: 2021-03-18
• 公開（公告）號: CN112905566A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 王曉輝;李洪霞;沈偉平
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2455
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張琳琳

本發明涉及視頻監控技術領域，具體涉及數據處理方法、裝置及電子設備，所述方法包括獲取實時待存儲數據；對所述實時待存儲數據進行聚合處理，以得到實時存儲數據；基于歷史存儲數據的時間戳信息，提取滿足預設時間條件的歷史存儲數據；對所述歷史存儲數據進行二次聚合處理，以得到目標歷史存儲數據，所述實時存儲數據與所述歷史存儲數據用于數據查詢。在數據存儲之前先對其進行聚合處理可以大大減少數據存儲量，且所得到的實時存儲數據以及目標歷史存儲數據均可以用于數據查詢，可以保證在減少數據存儲量的同時又不影響數據的查詢；即總數據量的減少也加速了數據的處理。

技術領域

本發明涉及視頻監控技術領域，具體涉及數據處理方法、裝置及電子設備。

背景技術

隨著人工智能分析的普遍應用，在視頻監控系統中，車輛分析和人物特征分析等技術的日益成熟，在城市視頻監控系統中得到了大量的應用。城市監控系統中的每天萬級攝像頭產生出海量的分析數據，對數據的亞秒級快速統計和分析帶來了巨大的挑戰。

在人工智能車輛分析、人物分析的技術日益成熟之下，其在城市視頻監控系統中得到了大量的應用。每個城市道路攝像頭每天會對經過的車輛，人物進行分析，然后匯總到Kafka大數據中心，每天的數據總量會達到億級的數據量。

海量的大數據一般會在Kafka數據中心進行緩存，然后在寫入到列式存儲進行統計和分析。但是在每天的數據量達到億級的情況下，即使是分布式大數據系統也無法在亞秒級內對各種統計維度按照指定的時間段給出統計結果，固有的數據量導致了統計和查詢需要消耗的基本時間量，從而導致查詢速度異常緩慢。

發明內容

有鑒于此，本發明實施例提供了一種數據處理方法、裝置及電子設備，以解決由于數據存儲所導致的查詢速度緩慢的問題。

根據第一方面，本發明實施例提供了一種數據處理方法，所述方法包括：

獲取實時待存儲數據；

對所述實時待存儲數據進行聚合處理，以得到實時存儲數據；

基于歷史存儲數據的時間戳信息，提取滿足預設時間條件的歷史存儲數據；

對提取出的所述歷史存儲數據進行二次聚合處理，以得到目標歷史存儲數據，所述實時存儲數據與所述歷史存儲數據用于數據查詢。

本發明實施例提供的數據處理方法，在獲取到實時待存儲數據之后，先對其進行一次聚合處理，以得到實時存儲數據；后續再對滿足條件的歷史存儲數據進行二次聚合處理，以得到目標歷史存儲數據。在數據存儲之前先對其進行聚合處理可以大大減少數據存儲量，且所得到的實時存儲數據以及目標歷史存儲數據均可以用于數據查詢，可以保證在減少數據存儲量的同時又不影響數據的查詢；即總數據量的減少也加速了數據的處理。

結合第一方面，在第一方面第一實施方式中，所述對所述實時待存儲數據進行聚合處理，得到實時存儲數據，包括：

獲取第一查詢顆粒度；

基于所述第一查詢顆粒度，對所述實時待存儲數據進行聚合處理，以得到所述實時存儲數據。

本發明實施例提供的數據處理方法，在實時待存儲數據的存儲之前，基于第一查詢顆粒度對實時待存儲數據進行聚合處理，大大減少了需要存儲的數據量。

結合第一方面第一實施方式，在第一方面第二實施方式中，所述基于所述第一查詢顆粒度，對所述實時待存儲數據進行聚合處理，得到所述實時存儲數據，包括：

從緩存空間內提取所述第一查詢顆粒度間隔內的所有所述實時待存儲數據；

基于所述第一查詢顆粒度對應的時間戳，利用所有所述實時待存儲數據的維度進行聚合處理，以得到所述實時存儲數據。