[發(fā)明專利]一種時序數(shù)據(jù)的壓縮存儲方法、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201711422662.8
• 申請日: 2017-12-25
• 公開（公告）號: CN108197181B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設計）人: 鄧敏;黃杵銘
• 申請（專利權）人: 廣州亦云信息技術股份有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/13;G06F16/172
• 代理公司: 廣州市越秀區(qū)哲力專利商標事務所(普通合伙) 44288
• 代理人: 邵穗娟;湯喜友

本發(fā)明公開了一種時序數(shù)據(jù)的壓縮存儲方法、電子設備及存儲介質，一方面，采用旋轉門算法，對測點數(shù)據(jù)表中屬于同一行的時序數(shù)據(jù)進行壓縮，旋轉門算法是一種線性擬合算法，屬于有損壓縮，能夠減少時序數(shù)據(jù)的保存量，節(jié)省存儲空間；另一方面，將該行壓縮后的時序數(shù)據(jù)合并成一條記錄，即把一行多列的時序數(shù)據(jù)合并成一列，以減少存儲文件中Key?Value的個數(shù)，節(jié)省存儲空間。

技術領域

本發(fā)明涉及時序數(shù)據(jù)存儲技術，尤其涉及一種時序數(shù)據(jù)的壓縮存儲方法、電子設備及存儲介質。

背景技術

在工業(yè)監(jiān)控領域，所有需要對運行設備進行監(jiān)控、控制的系統(tǒng)都可以定義為工業(yè)監(jiān)控系統(tǒng)，這里面就包括火電廠廠級監(jiān)控系統(tǒng)，在這類應用領域中，需要處理的測點非常多；假如一個火電廠監(jiān)控系統(tǒng)需要處理的測點超過10000點，并且這些測點的變化周期在1s內，那么需要將超過10000點的時序數(shù)據(jù)在1s內存到實時數(shù)據(jù)庫里面，其存儲量非常巨大，會占用大量的磁盤空間，甚至還會降低數(shù)據(jù)的訪問速度。因此，各個數(shù)據(jù)庫廠家大都會開發(fā)自己的數(shù)據(jù)壓縮算法，以對時序數(shù)據(jù)進行壓縮。

開源數(shù)據(jù)庫OpentsDB是基于HBase存儲時序數(shù)據(jù)的開源數(shù)據(jù)庫，是HBase的應用。其采用按指標建模的方式，即一個數(shù)據(jù)點由以下四部分組成：metricname，即指標的名稱；value，即該指標的值；timestamp，即時間戳或者數(shù)據(jù)生成時間；tags，即一個或者多個標簽，每個標簽tag包括標簽鍵tagKey和對應的標簽值tagValue。

例如，在監(jiān)控場景中，一個測點或者說監(jiān)控指標可以這樣定義：

名稱name：cpu.server

標簽tags：host＝10.0.3.93cpu＝1

那么這個測點的名稱就表示對服務器的cpu使用情況進行監(jiān)控，引入兩個標簽，用來描述該監(jiān)控是對哪臺服務器上的哪個核進行監(jiān)控。

這個測點的一個時序數(shù)據(jù)如下：

測點名稱name：cpu.server

測點標簽tags：host＝10.0.3.93cpu＝1

時間戳timestamp：3660

值value：0.5

那么這個時序數(shù)據(jù)表示，地址為10.0.3.93的服務器上的編號為1的核，其在1小時01分的占用率為50％。

那么在將時序數(shù)據(jù)寫入到存儲文件時，以Key-Value的形式存儲，其中Key采用rowKey+column?name(列名)的形式，其行鍵rowKey可采用metric?name+timestamp+tags的形式。其中，OpentsDB為了縮短rowKey，采用的策略就是為metric?name、tagKey及tagValue均分配一個唯一標識UID(UniqueID)，其中每個UID均默認為3個字節(jié)的固定長度。那么原先用String存儲的metric、tagKey、tagValue現(xiàn)在均可以用3個字節(jié)的字節(jié)數(shù)組來代替，大大縮短了rowKey長度，節(jié)省存儲空間。

時序數(shù)據(jù)有其自身的變化特征，例如趨勢性或者周期性，對于工業(yè)監(jiān)控產生的時序數(shù)據(jù)，由于其采集頻率高并且采集量大，其在某些時間段內可能會具有線性變化的趨勢即該時間段內時序數(shù)據(jù)的變化率接近一個常量，例如，處于較短時間段內的時序數(shù)據(jù)，其變化率可能會接近0，即變化十分緩慢，甚至保持不變，比如說一臺服務器在1小時00分到1小時01分的這1分鐘內，其CPU占用率可能就維持在50％左右。然而，OpentsDB未能利用時序數(shù)據(jù)的變化特征來進一步地提高壓縮比。

發(fā)明內容