[發明專利]一種基于頻域特征的時序數據存儲的方法和裝置

有效

• 申請號: 201711322647.6
• 申請日: 2017-12-12
• 公開（公告）號: CN107944029B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 王建民;黃向東;康榮;龍明盛;王晨
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/14
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種基于頻域特征的時序數據存儲的方法和裝置，包括將待存儲的時序數據劃分成若干數據點集合，每一數據點集合包括多個連續的數據點，每一數據點包括一個時間戳和一個數據值；對于任一數據點集合，根據任一數據點集合中每一數據點的數據值和時間戳獲取任一數據點集合對應的頻域特征值；依次存儲每一數據點集合對應的頻域特征值；從而將時序數據轉換成頻域特征進行存儲，實現了一種利用時序數據的頻域特征進行儲存的方式。

技術領域

本發明涉及數據處理技術領域，更具體地，涉及一種基于頻域特征的時序數據存儲的方法和裝置。

背景技術

目前，隨著更多的物聯網和傳感器網絡的發展，時序數據的采集、存儲和查詢變得越來越重要。傳感器不斷地以高速度產生大量的數據，這些隨時間遞增的數據點形成的有限或無界的序列集合稱為時間序列。由于時序數據的數據量巨大，因此如何高效的編碼以及如何更好的查詢時序數據的特征，就變得非常重要。

時間序列數據(簡稱為時序數據)是一系列帶有時間戳、依時間按照升序排列、并且來自于同一個目標的數據值，例如傳感器數據值，每個數據值與該數據值帶有的時間戳為時序數據的一個數據點。時序數據有以下的特點：總量大，在一個典型的應用場景，比如一個風電廠，可能存在上萬臺設備，而每一臺設備又包含了近千個傳感器。每個傳感器每隔幾秒就會采集一次數據；流式到達，為了保證數據的實時性，有的傳感器每采集一個數據點就會立即發送，這就要求處理方擁有較強的流式處理能力；具有相似性，在封閉環境下的傳感器，例如工廠、實驗室中的監控設備，其外部環境經常受到嚴格的控制，傳感器值主要受到進行中的工藝流程影響，而這些工藝流程都是周期重復的，因此傳感器值也往往有著類似的性質。而在開放條件下，例如風力發電機，其主要受到季節因素影響，在一個較長的周期內，其傳感器數據也會呈現出季節性特征。另外，處于同一個工作環境下的傳感器，例如同一個機房的傳感器，因為它們的工況類似，其數據也往往表現出相似性。

由于時序數據的總量大，且具有相似性，對時序數據以時域方式的存儲，數據之間的特征并不突出，并不適合于有效的查詢，而時序數據的頻域特征是時序數據的根本特征之一，在一些應用場合，時序數據的頻域特征更適合于對數據的查詢，但是目前沒有一種利用時序數據的頻域特征進行儲存的方式。

發明內容

為了克服上述問題或者至少部分地解決上述問題，本發明提供一種基于頻域特征的時序數據存儲的方法和裝置。

根據本發明的一個方面，提供一種基于頻域特征的時序數據存儲的方法，包括：將待存儲的時序數據劃分成若干數據點集合，每一數據點集合包括多個連續的數據點，每一數據點包括一個時間戳和一個數據值；對于任一數據點集合，根據任一數據點集合中每一數據點的數據值和時間戳獲取任一數據點集合對應的頻域特征值；依次存儲每一數據點集合對應的頻域特征值。

其中，將待存儲的時序數據劃分成若干數據點集合，包括：將待存儲的時序數據劃分成數據點的數量相等的若干數據點集合，且任意相鄰的兩個數據點集合中，前一數據點集合中最后的預設數量的數據點與后一數據點集合中最初的預設數量的數據點相同。

其中，根據任一數據點集合中每一數據點的數據值和時間戳獲取任一數據點集合對應的頻域特征值，包括：根據任一數據點集合中每一數據點的數據值和時間戳，確定任一數據點集合中所有數據值隨時間變化的時域函數；將時域函數通過預設變換規則變換為頻域函數；根據頻域函數獲取任一數據點集合對應頻域特征值。

其中，預設變換規則為傅里葉變換。

其中，根據頻域函數獲取任一數據點集合對應頻域特征值，包括：將對頻域函數抽樣的第一數量的抽樣點組成的集合作為第一抽樣點集合，提取第一抽樣點集合中每一抽樣點的頻率值和能量值；根據預設比例確定第二抽樣點集合，第二抽樣點集合中包括第二數量的抽樣點，且第二抽樣點集合中每一抽樣點均屬于第一抽樣點集合，預設比例為第二數量與第一數量的比值；將第二抽樣點集合中每一抽樣點的頻率值和能量值作為任一數據點集合對應的頻域特征值。