[發明專利]基于HBase數據庫的時序數據的存儲方法及裝置

在審

• 申請號: 201911302237.4
• 申請日: 2019-12-17
• 公開（公告）號: CN111078753A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 李東;馬鵬程
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/22
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王歡

本申請公開了一種基于HBase數據庫的時序數據的處理方法及裝置，方法包括：獲取時序數據，時序數據包括時間信息、數據類型和數據信息；將時間信息和數據類型存儲為具有第一長度的key；對數據信息進行編碼操作，得到編碼數據；確定編碼數據的長度值；將長度值和編碼數據存儲為value；依據key和value確定時序數據的存儲數據。該基于HBase數據庫的時序數據的處理方法及裝置，將所有的key值存儲為包括時間信息和數據類型的固定長度的值，將大小可能不相同的數據長度存儲在value值中，由于value值的存儲空間沒有固定限制，因此能夠支持數據長度不確定的、變長類型的數據的存儲，從而能夠滿足多樣的時序數據的存儲需求，提升用戶的使用體驗。

技術領域

本申請涉及數據存儲技術，更具體的說，是涉及一種基于HBase數據庫的時序數據的存儲方法及裝置。

背景技術

隨著信息化社會的不斷發展建設，在一些需要長期或不間斷監控狀態的工作中，會產生大量的時間序列數據，而如何對這些時間序列數據進行更好的存儲和管理，也成為領域內相關技術人員研究的主要課題之一。

現有的一些時間序列數據庫，往往僅支持存儲一些數值長度固定的簡單類型的數據，例如Integer、Long、Float、Double，而對于其他數值長度不確定的、復雜的數據類型的存儲則不支持，或者支持效果不佳。而且，在實際工業現場，獲取的數據類型通常包括多種，現有技術中尚不存在能夠對多種類型的數據進行統一化存儲及管理的相關技術。

發明內容

有鑒于此，本申請提供如下技術方案：

一種基于HBase數據庫的時序數據的處理方法，包括：

獲取時序數據，所述時序數據包括時間信息、數據類型和數據信息；

將所述時間信息和所述數據類型存儲為具有第一長度的key；

對所述數據信息進行編碼操作，得到編碼數據；

確定所述編碼數據的長度值；

將所述長度值和所述編碼數據存儲為value；

依據所述key和所述value確定所述時序數據的存儲數據。

可選的，所述對所述數據信息進行編碼操作，得到編碼數據，包括：

對所述數據信息進行二進制編碼，得到數據編碼。

可選的，所述將所述長度值和所述數據編碼存儲為value前，還包括：

將所述長度值進行Varint編碼，得到長度編碼；

則所述將所述長度值和所述數據編碼存儲為value，包括：

將所述長度編碼和所述數據編碼拼接到一起存儲為value。

可選的，所述將所述時間信息和所述數據類型存儲為具有第一長度的key，包括：

將所述時間信息和所述數據類型的枚舉值存儲為具有固定長度的key。

可選的，還包括：

將預設時間周期中的存儲數據存儲在一行，并為該行中的每一個存儲數據設置相同的Rowkey。

可選的，還包括：

對同一行的所有存儲數據進行壓縮處理；

所述壓縮處理包括：

將同一行的所有存儲數據的key合并為壓縮key，并將同一行的所有存儲數據的value合并為壓縮value，得到壓縮處理數據。

可選的，還包括：

對所述壓縮處理數據進行解壓縮操作；