[發明專利]一種時序數據的存儲方法及裝置

在審

• 申請號: 202010891609.8
• 申請日: 2020-08-31
• 公開（公告）號: CN111930751A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 張艷清;楊堯;陳博;胥莉君;魯燕
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2457;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種時序數據的存儲方法及裝置，主要解決現有技術中存在的現有時序數據庫直接壓縮大量數據造成服務器易崩潰的問題。該一種時序數據的存儲方法包括以下步驟：將原始數據拆分成不同的數據集后寫入不同的子表中；將子表寫入時序數據庫。通過上述方案，本發明達到了將上萬列的度量數據拆分到不同的子表，進行壓縮存儲；同時提供一種保存子表元數據的存儲格式，有效地管理存儲子表的目的。

技術領域

本發明涉及數據存儲及查詢技術領域，具體地說，是涉及一種時序數據的存儲方法及裝置。

背景技術

時序數據庫主要用于指處理帶時間標簽，即按照時間的順序變化，即時間序列化的數據，帶時間標簽的數據也稱為時間序列數據；現有的時序數據庫在面對上萬列數據的寫入時，直接將數據壓縮，在原有一行數據量巨大的情況下，即使批量數據壓縮后數據量也是海量的，這就使得服務器承受巨大的壓力，易造成服務器的崩潰。

發明內容

本發明的目的在于提供一種時序數據的存儲方法及裝置，以解決現有時序數據庫直接壓縮大量數據造成服務器易崩潰的問題。

為了解決上述問題，本發明提供如下技術方案：

一種時序數據的存儲方法包括以下步驟：將原始數據拆分成不同的數據集后寫入不同的子表中；將子表的元數據信息存儲到原始數據的元數據中；將子表寫入時序數據庫。

現有時序數據庫對上萬列數據寫入、讀出數據通常是：

寫入：按照時間戳提取固定長度的時間段，按時間段進行壓縮并寫入KV引擎。

讀取：在讀取數據時通過指定的時間戳計算出要讀取的列，然后去KV引擎中讀取對應的時序數據塊。

本發明在數據寫入前，將數據按度量列拆分寫入不同的子表，這就使得每個表寫入一行的數據是原有一行數據的百分之一，減少了壓縮數據的總量，能夠大大減少寫開銷，從而整體上提升時序數據庫的吞吐量，尤其在時序數據的離線分析場景時更為實用；將子表的元數據信息存儲到原始數據的元數據中，讀取時從原始數據的數據表中提出管理子表元數據信息的元數據信息持久化結構；減少讀放大，通過管理子表的元數據，能夠直接定位到對應的列名上；提供一種保存子表元數據的存儲格式，有效地管理存儲子表。

進一步的，將原始數據度量列按列名hash排序后，按設定數量的度量列拆分為不同的度量列子集；將上萬列的度量數據拆分到不同的子表，進行壓縮存儲。

進一步的，原始數據包括指標列集和時間列，把指標列集、時間列和度量列子集組合成新的數據，將數據寫入子表中。

進一步的，數據寫入子表后，按設定標簽提取key，通過提取的key把數據按照時間戳來進行壓縮，壓縮后生成Compress_Block。

進一步的，key和后面的一個數據塊作為一個KV寫入KV引擎，每個Compress_Block的最后一個時間戳作為列名。

一種基于時序數據的數據存儲裝置包括

存儲器：用于存儲可執行指令；

處理器：用于執行所述存儲器中存儲的可執行指令，實現一種時序數據的存儲方法。

與現有技術相比，本發明具有以下有益效果：

（1）本發明在數據寫入前，將數據按度量列拆分寫入不同的子表，這就使得每個表寫入一行的數據是原有一行數據的百分之一，減少了壓縮數據的總量，能夠大大減少寫開銷，從而整體上提升時序數據庫的吞吐量，尤其在時序數據的離線分析場景時更為實用。