[發(fā)明專(zhuān)利]時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法、讀取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011298938.8
• 申請(qǐng)日: 2020-11-18
• 公開(kāi)（公告）號(hào): CN112286948B
• 公開(kāi)（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 李南平;黃志龍;孫春;廖強(qiáng);曹峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都佳華物鏈云科技有限公司
• 主分類(lèi)號(hào): G06F16/23
• 分類(lèi)號(hào): G06F16/23;G06F16/22;G06F16/245;G06F16/28
• 代理公司: 北京超凡宏宇專(zhuān)利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 鐘揚(yáng)飛

本申請(qǐng)?zhí)峁┝艘环N時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法、讀取方法及裝置。該時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法包括：獲取待存儲(chǔ)的第一目標(biāo)數(shù)據(jù)以及所述第一目標(biāo)數(shù)據(jù)的時(shí)間戳；根據(jù)所述時(shí)間戳定位用于存儲(chǔ)所述第一目標(biāo)數(shù)據(jù)的目標(biāo)段文件，所述目標(biāo)數(shù)據(jù)的時(shí)間戳位于所述目標(biāo)段文件的時(shí)間戳范圍內(nèi)；將所述目標(biāo)數(shù)據(jù)寫(xiě)入所述目標(biāo)段文件內(nèi)，并基于所述目標(biāo)數(shù)據(jù)形成一個(gè)不穩(wěn)定文件；當(dāng)所述目標(biāo)段文件內(nèi)的不穩(wěn)定文件的計(jì)量參數(shù)大于或等于第一閾值時(shí)，將目標(biāo)段文件內(nèi)的所有文件進(jìn)行壓縮，得到目標(biāo)穩(wěn)定文件。本申請(qǐng)實(shí)施例可以提高時(shí)序數(shù)據(jù)的存儲(chǔ)效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及時(shí)序數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，具體而言，涉及一種時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法、讀取方法及裝置。

背景技術(shù)

現(xiàn)有技術(shù)中，時(shí)序數(shù)據(jù)庫(kù)的時(shí)序數(shù)據(jù)的存儲(chǔ)方式通常都是基于LSM－Tree(LogStructured?Merge?Tree)數(shù)據(jù)結(jié)構(gòu)。時(shí)序數(shù)據(jù)在磁盤(pán)上的組織方式為分級(jí)存儲(chǔ)，分為L(zhǎng)evel0至LevelN，下一級(jí)的數(shù)據(jù)大小通常是上一級(jí)的10倍。從從不可變內(nèi)存表持久化到磁盤(pán)的文件，即形成Level0層SSTable文件(Sorted?String?Table文件)，SSTable文件內(nèi)容通常是存儲(chǔ)Key?Value(鍵值對(duì))型數(shù)據(jù)，并且是按Key值進(jìn)行排序的。當(dāng)Level0的文件個(gè)數(shù)或者數(shù)據(jù)量達(dá)到指定大小時(shí)，則會(huì)對(duì)將Level0的SSTable文件和Level1的有Key重疊的SSTable文件進(jìn)行合并壓縮，然后，刪除舊的Level0，Level1的SSTable文件，形成新的Leve1的SSTable文件。當(dāng)Leve1的SSTable文件大小達(dá)到指定大小，和上面類(lèi)似的思路，會(huì)繼續(xù)和Leve2的文件進(jìn)行合并壓縮，以此類(lèi)推，直到LeveN層。每一次不同層之間的合并壓縮都將對(duì)磁盤(pán)I/O以及設(shè)備的CPU產(chǎn)生較大的壓力，導(dǎo)致存儲(chǔ)效率較低。

針對(duì)上述問(wèn)題，目前尚未有有效的技術(shù)解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法、讀取方法及裝置，可以提高時(shí)序數(shù)據(jù)的存儲(chǔ)效率。

第一方面，本申請(qǐng)實(shí)施例提供了一種時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法，所述時(shí)序數(shù)據(jù)庫(kù)包括設(shè)置有至少一個(gè)用于存儲(chǔ)目標(biāo)數(shù)據(jù)的段文件，不同段文件的時(shí)間戳范圍沒(méi)有交集，每一段文件內(nèi)的目標(biāo)數(shù)據(jù)的時(shí)間戳均位于對(duì)應(yīng)段文件的時(shí)間戳范圍內(nèi)；所述方法包括：

獲取待存儲(chǔ)的第一目標(biāo)數(shù)據(jù)以及所述第一目標(biāo)數(shù)據(jù)的時(shí)間戳；

根據(jù)所述時(shí)間戳定位用于存儲(chǔ)所述第一目標(biāo)數(shù)據(jù)的目標(biāo)段文件，所述目標(biāo)數(shù)據(jù)的時(shí)間戳位于所述目標(biāo)段文件的時(shí)間戳范圍內(nèi)；

將所述目標(biāo)數(shù)據(jù)寫(xiě)入所述目標(biāo)段文件內(nèi)，并基于所述目標(biāo)數(shù)據(jù)形成一個(gè)不穩(wěn)定文件；

當(dāng)所述目標(biāo)段文件內(nèi)的不穩(wěn)定文件的計(jì)量參數(shù)大于或等于第一閾值時(shí)，將目標(biāo)段文件內(nèi)的所有文件進(jìn)行壓縮，得到目標(biāo)穩(wěn)定文件。

可選地，在本申請(qǐng)實(shí)施例所述的時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法中，所述將目標(biāo)段文件內(nèi)的所有文件進(jìn)行壓縮，得到目標(biāo)穩(wěn)定文件，包括：

若所述目標(biāo)段文件內(nèi)存在穩(wěn)定文件，則將所述穩(wěn)定文件以及所有不穩(wěn)定文件進(jìn)行壓縮，得到目標(biāo)穩(wěn)定文件；

若所述目標(biāo)段文件內(nèi)不存在穩(wěn)定文件，則將所有不穩(wěn)定文件進(jìn)行壓縮，得到目標(biāo)穩(wěn)定文件。

可選地，在本申請(qǐng)實(shí)施例所述的時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法中，所述計(jì)量參數(shù)為所述目標(biāo)段文件內(nèi)的不穩(wěn)定文件的數(shù)量或所有不穩(wěn)定文件的數(shù)據(jù)量。

可選地，在本申請(qǐng)實(shí)施例所述的時(shí)序數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方法中，所述獲取待存儲(chǔ)的第一目標(biāo)數(shù)據(jù)，包括：

將待存儲(chǔ)的第一目標(biāo)數(shù)據(jù)寫(xiě)入預(yù)存日志文件，所述寫(xiě)入預(yù)存日志文件用于在第一目標(biāo)數(shù)據(jù)未寫(xiě)入所述目標(biāo)段文件之前暫存所述第一目標(biāo)數(shù)據(jù)，并在所述第一目標(biāo)數(shù)據(jù)寫(xiě)入所述目標(biāo)段文件之后刪除所述第一目標(biāo)數(shù)據(jù)；

將所述第一目標(biāo)數(shù)據(jù)從所述預(yù)存日志文件寫(xiě)入預(yù)設(shè)內(nèi)存區(qū)域。