[發明專利]一種時序數據的壓縮存儲方法、電子設備及存儲介質

有效

• 申請號: 201711422662.8
• 申請日: 2017-12-25
• 公開（公告）號: CN108197181B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 鄧敏;黃杵銘
• 申請（專利權）人: 廣州亦云信息技術股份有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/13;G06F16/172
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 邵穗娟;湯喜友

1.一種時序數據的壓縮存儲方法，其特征在于，包括以下步驟：

分配步驟：為測點的名稱、標簽鍵及標簽值均分配一個唯一標識UID，每個UID的長度均為3個字節；

建表步驟：建立測點索引表，用于記錄測點的名稱、標簽鍵及標簽值與UID的映射關系，包括正向映射及反向映射；建立測點數據表，用于記錄測點的時序數據，在測點數據表中，將同一測點屬于同一時間周期的時序數據記錄在同一行；在測點數據表中，每一時序數據行的rowKey包括兩部分，其中之一是時序數據所屬測點的UID信息，其中另一為時間標識，所述時間標識為該行所屬時間周期的起始時間；

在測點索引表中，包括兩個列族，其中一個列族，其包括三種類型的列成員，分別表示測點的名稱、標簽鍵及標簽值；另一個列族，其包括三種類型的列成員，分別表示測點的名稱、標簽鍵及標簽值這三者所對應的UID；在測點索引表中，其數據行的rowKey有6種類型，分別為測點的名稱、標簽鍵、標簽值以及這三者所對應的UID；

合并步驟：對測點數據表中屬于同一行的時序數據，采用旋轉門算法對該行的時序數據進行壓縮，并且將壓縮后一行多列的時序數據合并成一條一行一列的記錄；

所述合并步驟中，對屬于同一行的時序數據，取這些時序數據的相鄰差值的絕對值的平均值，作為該行的壓縮閾值；

所述旋轉門算法通過以下步驟對該行的時序數據進行壓縮：

按照數據生成時間的先后順序壓縮該行的時序數據，判斷當前的待壓縮時序數據是否為該行的第一個時序數據，如果是，那么保存該時序數據，并且以該時序數據作為壓縮起點；

根據所述壓縮閾值，計算出當前壓縮起點的上軸點和下軸點，對于當前的待壓縮時序數據，計算出該時序數據與所述上軸點的斜率K₁₁，如果該時序數據的前一時序數據為當前的壓縮起點，那么將K₁₁作為當前的待壓縮時序數據的上斜率，否則，若前一時序數據的上斜率為K₁₀，取K₁₁與K₁₀中的較大值作為當前的待壓縮時序數據的上斜率；對于當前的待壓縮時序數據，計算出該時序數據與所述下軸點的斜率K₂₁，如果該時序數據的前一時序數據為當前的壓縮起點，那么將K₂₁作為當前的待壓縮時序數據的下斜率，否則，若前一時序數據的下斜率為K₂₀，取K₂₁與K₂₀中的較小值作為當前的待壓縮時序數據的下斜率；

如果當前的待壓縮時序數據的上斜率大于或等于其下斜率，那么保存前一時序數據，并且以該時序數據作為新的壓縮起點，繼續壓縮該行的時序數據，直至該行所有的時序數據壓縮完；

存儲步驟：將測點索引表及測點數據表以Key-Value的形式存儲于存儲文件。

2.如權利要求1所述的時序數據的壓縮存儲方法，其特征在于，在測點數據表中，其時序數據行的時間周期的長度取為1小時，并且rowKey中的時間標識為整點時間。

3.一種電子設備，包括存儲器、處理器以及存儲在存儲器上并且可在處理器上運行的計算機程序，其特征在于：所述處理器執行所述計算機程序時，實現如權利要求1-2任一項所述的時序數據的壓縮存儲方法。

4.一種存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執行時，實現如權利要求1-2任一項所述的時序數據的壓縮存儲方法。