[發明專利]一種基于大冗余量時序數據的存儲方法

有效

• 申請號: 202010144723.4
• 申請日: 2020-03-04
• 公開（公告）號: CN111400265B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張樺;周青;吳以凡;許斌
• 申請（專利權）人: 浙江永貴電器股份有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/17;G06F16/172
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 黃前澤

本發明公開了一種基于大冗余量時序數據的存儲方法。傳統關系型數據庫存儲時序數據時存儲成本大、寫入吞吐低、查詢性能差。本發明的服務器使用內存數據庫作緩存。在傳感器發送的時序數據達到設定的一段測控時間或者完成階段性測量任務后，服務器將內存數據庫中緩存的時序數據以去冗余存儲格式存儲于磁盤數據庫中，成為該段測控時間或者該階段性測量任務的歷史數據；需要對歷史數據進行搜索和分析時，根據不同存儲格式進行調用。本發明以壓縮形式存儲歷史數據，對數據去冗余，以減少服務器硬盤空間開銷，減少數據行數，并在需要調用時，快速準確地調用歷史數據。

技術領域

本發明屬于數據處理技術領域，具體涉及一種基于大冗余量時序數據的存儲方法。

背景技術

傳感器技術作為信息技術的三大基礎之一，是當前各發達國家競相發展的高新技術。隨著經濟和技術的進步、互聯網的普及和信息高速公路的發展，在社會的各個角落，部署了大量的各種用途的傳感器，用于確保人們生活的安全，便捷。

大量的傳感器也產生了大量的數據，不但在傳輸時占用了大量的網絡帶寬，而且隨著應用的積累，也需要大量的硬件系統去存儲歷史數據。如果不對數據進行相應的處理，將會有很多的冗余數據。在歷史數據的檢索時，會降低平臺系統的效率，占用更多的硬件資源，造成大量硬件資源浪費。

時序數據是基于時間的一系列的數據。在有時間的坐標中將這些數據點連成線，往過去看可以做成多緯度報表，揭示其趨勢性、規律性、異常性；往未來看可以做大數據分析，機器學習，實現預測和預警。

時序數據不同于一般關系數據，有持續高并發寫入，無更新操作：時序數據庫面對的往往是百萬甚至千萬數量級終端設備的實時數據寫入，但數據大多表征設備狀態，寫入后不會更新。

傳統關系型數據庫存儲時序數據時存在如下問題：

1、存儲成本大：對于時序數據壓縮不佳，需占用大量機器資源；

2、維護成本高：單機系統，需要在上層人工的分庫分表，維護成本高；

3、寫入吞吐低：單機寫入吞吐低，很難滿足時序數據千萬級的寫入壓力；

4、查詢性能差：適用于交易處理，海量數據的聚合分析性能差。

發明內容

本發明的目的在于提供一種對傳感器時序數據緩存的持久化存儲方法，該方法適用于有較大冗余數據的、可階段性存儲的時序數據，最終達到以壓縮形式存儲歷史數據，減少服務器硬盤空間開銷，并在需要調用時，快速準確地調用歷史數據。

本發明具體如下：

步驟1、傳感器發送時序數據到服務器，服務器使用內存數據庫作緩存。

步驟2、在傳感器發送的時序數據達到設定的一段測控時間或者完成階段性測量任務后，服務器將內存數據庫中緩存的時序數據以去冗余存儲格式存儲于磁盤數據庫中，成為該段測控時間或者該階段性測量任務的歷史數據。

服務器將內存數據庫中緩存的時序數據以去冗余存儲格式存儲于磁盤數據庫中的過程具體如下：

服務器將內存數據庫中緩存的時序數據根據不同標識的傳感器源劃分為多個數據段，然后將傳感器源標識相同的各數據段歸并為一條信息，每條信息存入一個數據庫表中。信息存入數據庫表的存儲格式如下：

①若信息中各數據段間隔相同，則將該信息以以下格式進行存儲：

[S][d][v₁|a₁|v₂|a₂,…,v_i|a_i,…,v_n|a_n]

其中：

[]表示各存儲列數據之間的分隔；