[發明專利]一種基于相似工況的時間序列壓縮存儲方法及系統

在審

• 申請號: 201711320722.5
• 申請日: 2017-12-12
• 公開（公告）號: CN108062376A
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 王建民;黃向東;江天;龍明盛;王晨
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種基于相似工況的時間序列壓縮存儲方法，包括：將時間序列按照時序劃分為多個數據窗口，每個數據窗口包括預設數量個數據點，所述數據窗口包括未存儲的第一數據窗口和已存儲的第二數據窗口集合；基于預設的特征函數，計算所述第一數據窗口的特征值；基于所述第一數據窗口的特征值，在所述第二數據窗口集合中，確定與所述第一數據窗口特征距離最小且所述特征距離小于預設閾值的第二數據窗口；基于所述第二數據窗口，對所述第一數據窗口中的每個數據點進行差值壓縮存儲。本發明提供的一種基于相似工況的時間序列壓縮存儲方法及系統，通過在已有的時間序列中查找相似序列進行差值存儲，來提高時間序列的壓縮比，進而降低存儲成本。

技術領域

本發明屬于計算機數據管理技術領域，更具體地，涉及一種基于相似工況的時間序列壓縮存儲方法及系統。

背景技術

時間序列是一系列帶有時間戳、依時間按照升序排列、并且來自于同一個物體的數據，例如傳感器數據。時間序列有以下的特點：總量大，在一個典型的應用場景，比如一個風電廠，可能存在上萬臺設備，而每一臺設備又包含了近千個傳感器。每個傳感器每隔幾秒就會采集一次數據；流式到達，為了保證數據的實時性，有的傳感器每采集一個數據點就會立即發送，這就要求處理方擁有較強的流式處理能力；具有相似性，在封閉環境下的傳感器，例如工廠、實驗室中的監控設備，其外部環境經常受到嚴格的控制，傳感器值主要受到進行中的工藝流程影響，而這些工藝流程都是周期重復的，因此傳感器值也往往有著類似的性質。而在開放條件下，例如風力發電機，其主要受到季節因素影響，在一個較長的周期內，其傳感器數據也會呈現出季節性。另外，處于同一個工作環境下的傳感器，例如同一個機房的傳感器，因為它們的工況類似，其數據也往往表現出相似性。

現在對于時間序列的壓縮往往采用的是對傳統數據的壓縮方法，如GZip、BZip2等，或是只關注與某種數據本身的結構特征，例如差分編碼，前導零編碼。

但是現有技術采用的這些基于相似工況的時間序列壓縮存儲方法，并沒有考慮到時間序列的這些性質，尤其是時間序列之間的相似性，使得存儲時間序列的存儲成本過高。因此，現在亟須一種基于相似工況的時間序列壓縮存儲方法來有效利用時間序列的相似特性，從而降低存儲成本。

發明內容

本發明提供一種克服上述問題或者至少部分地解決上述問題的一種基于相似工況的時間序列壓縮存儲方法，其特征在于，包括：

步驟S1、將時間序列按照時序劃分為多個數據窗口，每個數據窗口包括預設數量個數據點，所述數據窗口包括未存儲的第一數據窗口和已存儲的第二數據窗口集合；

步驟S2、基于預設的特征函數，計算所述第一數據窗口的特征值；

步驟S3、基于所述第一數據窗口的特征值，在所述第二數據窗口集合中，確定與所述第一數據窗口特征距離最小且所述特征距離小于預設閾值的第二數據窗口；

步驟S4、基于所述第二數據窗口，對所述第一數據窗口中的每個數據點進行差值壓縮存儲。

其中，步驟S2后所述方法還包括：

若所述第二數據窗口集合中所有數據窗口與所述第一數據窗口的特征距離均大于預設閾值，則直接存儲所述第一數據窗口。

其中，步驟S2具體包括：

基于預設的平均值函數，計算所述第一數據窗口中每個數據點平均值標量；

將所述平均值標量作為所述第一數據窗的特征值。

其中，步驟S3包括：

S31、基于預設的采樣函數，在所述第二數據窗口集合中采樣出目標數據窗口；

S32、基于目標數據窗口的特征值和所述第一數據窗口的特征值，計算每個采樣出的目標數據窗口和所述第一數據窗口之間的特征距離；