[發(fā)明專利]壓縮時(shí)序數(shù)據(jù)以及查詢時(shí)序數(shù)據(jù)的方法、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711181694.3
• 申請(qǐng)日: 2017-11-23
• 公開（公告）號(hào): CN108092667B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 沈達(dá)宇
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): H03M7/30
• 分類號(hào): H03M7/30;G06F3/06
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 袁媛

本發(fā)明提供一種壓縮時(shí)序數(shù)據(jù)的方法，包括：將獲取的時(shí)序數(shù)據(jù)寫入臨時(shí)表；根據(jù)查詢時(shí)間范圍從臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)；對(duì)待壓縮的時(shí)序數(shù)據(jù)進(jìn)行壓縮后寫入最終表，判斷當(dāng)前查詢時(shí)間范圍能否進(jìn)行更新，如果能，在更新查詢時(shí)間范圍后，轉(zhuǎn)至根據(jù)查詢時(shí)間范圍從所述臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)的步驟；否則，對(duì)寫入最終表中的時(shí)序數(shù)據(jù)的壓縮結(jié)果進(jìn)行壓縮。本發(fā)明還提供一種查詢時(shí)序數(shù)據(jù)的方法，包括：獲取待查詢的時(shí)序數(shù)據(jù)的生成時(shí)間范圍；將第一次壓縮時(shí)所使用的查詢時(shí)間范圍中的標(biāo)記時(shí)間與生成時(shí)間范圍進(jìn)行比較，根據(jù)比較結(jié)果確定待查詢的時(shí)序數(shù)據(jù)的存儲(chǔ)位置，存儲(chǔ)位置包括臨時(shí)表和/或最終表；根據(jù)所確定的存儲(chǔ)位置獲取待查詢的時(shí)序數(shù)據(jù)。

【技術(shù)領(lǐng)域】

本發(fā)明涉及云計(jì)算領(lǐng)域，尤其涉及一種壓縮時(shí)序數(shù)據(jù)以及查詢時(shí)序數(shù)據(jù)的方法、裝置。

【背景技術(shù)】

時(shí)序數(shù)據(jù)可以用于分析過去、監(jiān)控現(xiàn)在以及預(yù)測(cè)未來，對(duì)于企業(yè)而言，時(shí)序數(shù)據(jù)具有不可估量的價(jià)值。因此需要對(duì)時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)。但現(xiàn)有場(chǎng)景下的時(shí)序數(shù)據(jù)的特點(diǎn)就是數(shù)據(jù)量大，隨之帶來的問題就是存儲(chǔ)時(shí)序數(shù)據(jù)的成本較高。為了降低時(shí)序數(shù)據(jù)的存儲(chǔ)成本，一般通過對(duì)時(shí)序數(shù)據(jù)進(jìn)行壓縮來實(shí)現(xiàn)。但是現(xiàn)有技術(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行壓縮時(shí)，存在以下缺點(diǎn)：壓縮率不高，例如使用OpenTsdb進(jìn)行壓縮時(shí)，只是對(duì)時(shí)序數(shù)據(jù)庫(kù)生成的數(shù)據(jù)文件進(jìn)行壓縮，因此無法得到時(shí)序數(shù)據(jù)的高壓縮率；對(duì)寫入的時(shí)序數(shù)據(jù)有較多的限制，例如facebook的Gorilla，利用該算法雖然能夠取得對(duì)時(shí)序數(shù)據(jù)的高壓縮率，但是其要求寫入的時(shí)序數(shù)據(jù)必須在當(dāng)前時(shí)間戳的一定范圍內(nèi)，無法對(duì)時(shí)間較長(zhǎng)的歷史數(shù)據(jù)進(jìn)行壓縮。因此，亟需提供一種能夠提高壓縮率且對(duì)寫入的時(shí)序數(shù)據(jù)沒有限制的壓縮時(shí)序數(shù)據(jù)的方法。

【發(fā)明內(nèi)容】

有鑒于此，本發(fā)明提供了一種壓縮時(shí)序數(shù)據(jù)以及查詢時(shí)序數(shù)據(jù)的方法和裝置，用于減少對(duì)所寫入的時(shí)序數(shù)據(jù)的限制，提高時(shí)序數(shù)據(jù)的壓縮率。

本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案是提供一種壓縮時(shí)序數(shù)據(jù)的方法，所述方法包括：將獲取的時(shí)序數(shù)據(jù)寫入臨時(shí)表；根據(jù)查詢時(shí)間范圍從所述臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)；對(duì)所述待壓縮的時(shí)序數(shù)據(jù)進(jìn)行壓縮后寫入最終表，判斷當(dāng)前查詢時(shí)間范圍能否進(jìn)行更新，如果能，在更新所述查詢時(shí)間范圍后，轉(zhuǎn)至所述根據(jù)查詢時(shí)間范圍從所述臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)的步驟；否則，對(duì)寫入所述最終表中的時(shí)序數(shù)據(jù)的壓縮結(jié)果進(jìn)行壓縮。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述查詢時(shí)間范圍由標(biāo)記時(shí)間與浮動(dòng)時(shí)間進(jìn)行表征。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述根據(jù)查詢時(shí)間范圍從所述臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)包括：獲取寫入臨時(shí)表中的各時(shí)序數(shù)據(jù)的生成時(shí)間范圍；將所述生成時(shí)間范圍在所述查詢時(shí)間范圍內(nèi)的時(shí)序數(shù)據(jù)作為所述待壓縮的時(shí)序數(shù)據(jù)。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述判斷當(dāng)前查詢時(shí)間范圍能否進(jìn)行更新包括：判斷當(dāng)前查詢時(shí)間范圍是否為可更新的查詢時(shí)間范圍；或者判斷根據(jù)當(dāng)前查詢時(shí)間范圍能否獲取待壓縮的時(shí)序數(shù)據(jù)。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述更新所述查詢時(shí)間范圍包括：利用當(dāng)前查詢時(shí)間范圍中的標(biāo)記時(shí)間加上浮動(dòng)時(shí)間得到的值，更新查詢時(shí)間范圍中的標(biāo)記時(shí)間。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，該方法還包括：對(duì)寫入臨時(shí)表中的時(shí)序數(shù)據(jù)設(shè)置存活時(shí)間；若寫入臨時(shí)表中的時(shí)序數(shù)據(jù)達(dá)到存活時(shí)間，則刪除該時(shí)序數(shù)據(jù)。

本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案是提供一種壓縮時(shí)序數(shù)據(jù)的裝置，所述裝置包括：寫入單元，用于將獲取的時(shí)序數(shù)據(jù)寫入臨時(shí)表；確定單元，用于根據(jù)查詢時(shí)間范圍從所述臨時(shí)表中確定待壓縮的時(shí)序數(shù)據(jù)；第一壓縮單元，用于對(duì)所述待壓縮的時(shí)序數(shù)據(jù)進(jìn)行壓縮后寫入最終表，判斷當(dāng)前查詢時(shí)間范圍能否進(jìn)行更新，如果能，在更新所述查詢時(shí)間范圍后轉(zhuǎn)至確定單元，否則轉(zhuǎn)至第二壓縮單元；第二壓縮單元，用于對(duì)寫入所述最終表中的時(shí)序數(shù)據(jù)的壓縮結(jié)果進(jìn)行壓縮。

根據(jù)本發(fā)明一優(yōu)選實(shí)施例，所述查詢時(shí)間范圍由標(biāo)記時(shí)間與浮動(dòng)時(shí)間進(jìn)行表征。