[發明專利]一種傳感器數據層次化存儲裝置與方法

有效

• 申請號: 201710977230.7
• 申請日: 2017-10-19
• 公開（公告）號: CN107885791B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 張碩;田春華;史巨偉;王晨
• 申請（專利權）人: 北京工業大數據創新中心有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458
• 代理公司: 北京潤捷智誠知識產權代理事務所(普通合伙) 11831
• 代理人: 孫巍

本發明提供一種傳感器數據層次化存儲裝置及方法，該方法包括：層次周期建議器，用于接收傳感器數據，根據傳感器數據特性和訪問場景對傳感器數據進行時間分段，計算各時段內單序列Top k周期，并根據單序列Top k周期計算傳感器數據組Top k周期和單序列的層次；層次化加工引擎，用于根據單序列的層次、單序列Top k周期和傳感器數據組Top k周期對傳感器數據進行加工，以生成層次化數據，并將層次化數據發送至層次化存儲與索引引擎；層次化存儲與索引引擎，用于對層次化數據進行存儲，并將存儲的層次化數據與索引信息相結合。本發明的傳感器數據層次化存儲裝置及方法支持高效檢索。

技術領域

本發明涉及傳感器數據處理技術領域，尤其涉及一種傳感器數據層次化存儲裝置與方法。

背景技術

對于海量的工業時序數據中的傳感器數據，由于感知指標的物理屬性原因，傳感數據在時間與空間方向上往往都存在較大冗余即重復，因此數據存儲時有較大壓縮空間，比如如果業務允許，在歷史數據備份的時候，可以考慮做有損壓縮。另外，對工業時序數據的訪問和分析需求很多都是對傳感器數據在一定時間粒度上聚合值的讀取，而非原始數據測點值的讀取。例如對海量時間序列數據的可視化展示很多均在一個聚合時間粒度上進行，再例如風機的SCADA(Supervisory Control And Data Acquisition，監控與數據采集)系統，其監測數據在秒級，但不同分析應用需要不同時間粒度的聚合值。

目前，通常利用實時數據庫對傳感器數據進行存儲，實時數據庫根據“逢變再存”的思想，利用不同的壓縮算法，對原始數據進行有損壓縮存儲，實時數據庫對于緩慢變化的信號，壓縮比很高，存儲速度快，然而，利用實時數據庫對傳感器數據的存儲為有損壓縮存儲，用戶查詢效率很低，并且不支持隨機查詢。利用關系庫對傳感器數據進行存儲時，存儲多張表，不同表用不同的時間顆粒度，這種情況下，也存在用戶查詢速度慢的缺陷。

典型的數據聚合方式為在數據接入時指定固定的聚合周期，從而使得在數據接入過程中將數據按該周期執行聚合并存儲。另一種相關的數據聚合方式是典型的數據立方體，通過指定特定的維屬性立方體進行聚合物化。但這些系統和方法基于通用的固定模式，如事先確定的固定周期，而未基于工業時序數據的設備、指標等特定模型，指標列組間的關聯特性，以及結合工業時序數據分析和可視化等訪問模式進行層次化數據存放。

因此，需要提供一種能夠結合工業傳感器時序數據特性和訪問場景，檢查指標間的數據關聯，對時序數據的周期進行指定，并進行層次化數據存儲以支持高效檢索的傳感器數據層次化存儲裝置及方法。

發明內容

根據本發明的一個方面，提供了一種傳感器數據層次化存儲裝置，包括：層次周期建議器，用于接收風機傳感器組發送的傳感器數據，根據傳感器數據特性和訪問場景對傳感器數據進行時間分段，計算各時段內傳感器數據的單序列Top k周期，并根據單序列Topk周期計算傳感器數據組Top k周期和各時段內單序列的層次，并將傳感器數據、各時段內單序列的層次、單序列Top k周期和傳感器數據組Top k周期發送至層次化加工引擎；層次化加工引擎，用于接收傳感器數據、各時段內單序列的層次、單序列Top k周期和傳感器數據組Top k周期，根據各時段內單序列的層次、單序列Top k周期和傳感器數據組Top k周期對傳感器數據進行加工，以生成層次化數據，并將層次化數據發送至層次化存儲與索引引擎；層次化存儲與索引引擎，用于接收層次化數據，對層次化數據進行存儲，并將存儲的層次化數據與索引信息相結合，以提供層次化數據的查詢服務。

在層次周期建議器中，當層次周期建議器接收到用戶指定的各時段內單序列的層次、單序列Top k周期和傳感器數據組Top k周期時，層次周期建議器將傳感器數據、各時段內單序列的層次、單序列Top k周期和傳感器數據組Top k周期發送至層次化加工引擎，以對傳感器數據進行加工。