[發明專利]基于LSM的數據存儲方法、裝置、存儲介質及計算機設備

有效

• 申請號: 202010130339.9
• 申請日: 2020-02-28
• 公開（公告）號: CN111352908B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 朱博帥
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/172;G06F16/13
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 張麗穎;劉蔓莉

本申請涉及一種基于LSM的數據存儲方法、裝置、存儲介質及計算機設備，該方法包括：將LSM數據存儲系統設置為兩層；監測系統讀寫壓力；根據系統讀寫壓力和內存、磁盤的數據存儲狀態，將內存中的待寫入Key?Value數據寫入到被LSM數據存儲系統標記為第一層文件的對應第一層文件中，或，對內存的memtable中、磁盤的第一層文件中、第二層文件中鍵相同的Key?Value數據進行合并，將合并后的Key?Value數據寫入到磁盤對應的文件中，控制LSM數據存儲系統將磁盤中由合并后寫入到磁盤的Key?Value數據所在的文件標記為第一層文件或第二層文件，或，將磁盤的第一層文件標記為第二層文件。通過本申請的技術方案，可以有效減少通過LSM樹讀寫數據時帶來的讀放大、寫放大、空間放大，減輕對數據庫性能的影響。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于LSM的數據存儲方法、裝置、存儲介質及計算機設備。

背景技術

LSM樹(The Log-Structured Merge Tree，日志結構的合并樹)為一種底層索引結構，通過LSM樹將內存中的數據批量、有序地寫入磁盤，并且自動對磁盤中的各層文件做歸并操作減少垃圾數據，提高了磁盤寫入速度，同時將磁盤的隨機輸入輸出變為了順序輸入輸出。但是LSM算法也帶來了讀放大、寫放大、空間放大等問題，導致數據存儲系統性能隨著數據寫入或數據合并操作時發生抖動，影響數據存儲系統服務的穩定性。現有技術中，針對LSM樹索引結構在頻繁更新相同Key對應的數據的情況下，容易產生消耗過大、IO操作過多、數據存儲系統對外的吞吐量降低等技術問題。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請實施例提供了一種基于LSM的數據存儲方法、裝置、存儲介質及計算機設備。

第一方面，本申請實施例提供了一種基于LSM的數據存儲方法，該方法包括：

將LSM數據存儲系統設置為兩層文件層級結構以用于將磁盤中的文件標記為第一層文件或第二層文件；

監測系統讀寫壓力；

分別獲取內存、磁盤的數據存儲狀態；

根據系統讀寫壓力和內存、磁盤的數據存儲狀態，將內存memtable中的待寫入Key-Value數據寫入到到磁盤對應的文件中，控制LSM數據存儲系統將磁盤中由memtable寫入到磁盤的Key-Value數據所在的文件標記為第一層文件，

或，

對內存的memtable中、磁盤的第一層文件中、磁盤的第二層文件中鍵相同的Key-Value數據進行合并操作，將合并后的Key-Value數據寫入到磁盤對應的文件中，控制LSM數據存儲系統將磁盤中由合并后寫入到磁盤的Key-Value數據所在的文件標記為第一層文件或第二層文件，

或，將磁盤的第一層文件標記為第二層文件。

可選地，該方法還包括：設置內存中memtable個數、每個memtable的鍵范圍，其中，每個memtable的鍵范圍不重疊，每個memtable包含的鍵的初始個數為對應的memtable的鍵范圍內包含的不同鍵的個數，每個memtable包含的鍵的初始個數相同；

根據系統讀寫壓力和內存、磁盤的數據存儲狀態，將內存的memtable中的待寫入Key-Value數據寫入到磁盤對應的文件中，控制LSM數據存儲系統將磁盤中由memtable寫入到磁盤的Key-Value數據所在的文件標記為第一層文件，包括：

當內存與磁盤之間、磁盤內部之間沒有可合并的Key-Value數據或系統讀寫壓力大于等于壓力閾值時，將內存memtable中的待寫入Key-Value數據寫入到磁盤對應生成的文件中，控制LSM數據存儲系統將磁盤中由memtable寫入到磁盤的Key-Value數據所在的文件標記為第一層文件。