[發(fā)明專利]基于LSM的數(shù)據(jù)存儲方法、裝置、存儲介質(zhì)及計算機設(shè)備

有效

• 申請?zhí)枺?/td>: 202010130339.9
• 申請日: 2020-02-28
• 公開（公告）號: CN111352908B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設(shè)計）人: 朱博帥
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/172;G06F16/13
• 代理公司: 北京華夏泰和知識產(chǎn)權(quán)代理有限公司 11662
• 代理人: 張麗穎;劉蔓莉

1.一種基于LSM的數(shù)據(jù)存儲方法，其特征在于，所述方法包括：

將LSM數(shù)據(jù)存儲系統(tǒng)設(shè)置為兩層文件層級結(jié)構(gòu)以用于將磁盤中的文件標記為第一層文件或第二層文件；

監(jiān)測系統(tǒng)讀寫壓力；

分別獲取內(nèi)存、磁盤的數(shù)據(jù)存儲狀態(tài)；

根據(jù)所述系統(tǒng)讀寫壓力和所述內(nèi)存、磁盤的數(shù)據(jù)存儲狀態(tài)，將內(nèi)存memtable中的待寫入Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由memtable寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件，或，對內(nèi)存的memtable中、磁盤的第一層文件中、磁盤的第二層文件中鍵相同的Key-Value數(shù)據(jù)進行合并操作，將合并后的Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件或第二層文件，或，將磁盤的第一層文件標記為第二層文件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：設(shè)置內(nèi)存中memtable個數(shù)、每個memtable的鍵范圍，其中，每個memtable的鍵范圍不重疊，每個memtable包含的鍵的初始個數(shù)為對應(yīng)的memtable的鍵范圍內(nèi)包含的不同鍵的個數(shù)，每個memtable包含的鍵的初始個數(shù)相同；

所述根據(jù)系統(tǒng)讀寫壓力和內(nèi)存、磁盤的數(shù)據(jù)存儲狀態(tài)，將內(nèi)存的memtable中的待寫入Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由memtable寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件，包括：

當(dāng)內(nèi)存與磁盤之間、磁盤內(nèi)部之間沒有可合并的Key-Value數(shù)據(jù)或系統(tǒng)讀寫壓力大于等于壓力閾值時，將內(nèi)存memtable中的待寫入Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)生成的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由memtable寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對內(nèi)存的memtable中、磁盤的第一層文件中、磁盤的第二層文件中鍵相同的Key-Value數(shù)據(jù)進行合并操作，將合并后的Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件或第二層文件，包括：

當(dāng)系統(tǒng)讀寫壓力小于壓力閾值且內(nèi)存與磁盤之間或磁盤內(nèi)部之間有可合并的Key-Value數(shù)據(jù)時，則將磁盤中鍵范圍相同的文件所對應(yīng)的Key-Value數(shù)據(jù)讀到內(nèi)存中，刪除磁盤中已讀出的文件，將讀到內(nèi)存中的鍵相同的Key-Value數(shù)據(jù)進行合并得到合并后的Key-Value數(shù)據(jù)，或，將讀到內(nèi)存中的鍵相同的Key-Value數(shù)據(jù)、內(nèi)存的memtable中鍵相同的Key-Value數(shù)據(jù)進行合并得到合并后的Key-Value數(shù)據(jù)，將合并后的Key-Value數(shù)據(jù)寫入到磁盤對應(yīng)生成的文件中，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由第一層文件與第二層文件合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件或由內(nèi)存、第一層文件、第二層文件合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件或由內(nèi)存、第二層文件合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第二層文件，控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤中由內(nèi)存、第一層文件合并后寫入到磁盤的Key-Value數(shù)據(jù)所在的文件標記為第一層文件；

所述將磁盤的第一層文件標記為第二層文件，包括：

當(dāng)內(nèi)存memtable中沒有待寫入Key-Value數(shù)據(jù)、第二層文件的Key-Value數(shù)據(jù)與第一層文件的Key-Value數(shù)據(jù)鍵均不同，則控制LSM數(shù)據(jù)存儲系統(tǒng)將磁盤的第一層文件標記為第二層文件；

其中，磁盤中鍵范圍相同的文件為第一層文件和/或第二層文件，第二層文件的鍵范圍與對應(yīng)的memtable的鍵范圍相同。