[發明專利]基于OCSSD的鍵值存儲系統的寫、塊粒度壓縮合并方法和系統

有效

• 申請號: 202011376044.6
• 申請日: 2020-11-30
• 公開（公告）號: CN112346666B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 陳儉喜;馮丹;陳鑫宇;陳彧;馬莉珍;鄭夢麗;張興銳
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍;李智

本發明公開了基于OCSSD的鍵值存儲系統的寫、塊粒度壓縮合并方法和系統，屬于計算機存儲領域。本發明通過數據塊粒度的選擇性壓縮合并，避免對非重疊數據塊的讀入和寫回，能夠減小LSM?tree壓縮合并過程中的讀寫放大問題；通過將同一個文件的數據塊均勻分布在OCSSD的所有通道中，能夠顯式利用OCSSD多通道并行的特性，從而提高鍵值存儲系統吞吐量；通過在用戶層直接管理底層存儲介質，繞過文件系統等中間軟件層，減少了對主機資源的消耗，并方便地傳遞應用軟件的語義特征。總的來說，本發明能夠有效降低基于LSM?tree的鍵值存儲系統讀寫放大問題，消除上層應用軟件和底層存儲設備之間的語義隔離，提高系統整體鍵值對操作的吞吐量。

技術領域

本發明屬于計算機存儲領域，更具體地，涉及基于OCSSD的鍵值存儲系統的寫、塊粒度壓縮合并方法和系統。

背景技術

大容量固態盤(Solid State Drive，SSD)的大物理塊應用趨勢及3D NAND Flash技術發展，為數據存儲管理帶來了機遇和挑戰。日志結構合并樹(log-structured merge-tree，LSM-tree)鍵值(key-value，KV)存儲針對隨機寫進行優化，提供高效的數據插入和刪除，作為持久化存儲引擎被廣泛應用在數據中心。LSM-tree KV存儲直接使用SSD塊設備，兩者本身都存在讀/寫放大。更為糟糕的是主機端和設備端管理上各自為政，系統讀/寫放大問題會進一步疊加，嚴重降低存儲系統整體性能和SSD壽命。基于開放通道SSD的LSM-treeKV存儲系統為統一管理軟、硬件資源，優化存儲系統，減少讀/寫放大問題，提供了一種解決途徑。

現有的基于OCSSD(Open-Channel SSD)的鍵值存儲系統，在設計方案上都利用了OCSSD的特性來實現最終的性能提升，但是這些工作都將重點集中于根據LSM-tree的工作原理，調整IO調度和鍵值對在OCSSD中的物理分布，并沒有從根源上緩解基于LSM-tree的鍵值存儲系統帶來的讀寫放大問題。因而如何根據OCSSD的設備特性調整LSM-tree的設計原理，減小LSM-tree的讀寫放大問題對閃存使用壽命的影響，提高鍵值存儲系統的讀寫性能，是一個亟待解決的難點。

專利CN107526550A公開了一種基于日志結構合并樹的兩階段合并方法，其主要思想如下：記錄LSM-tree中的下層文件與上層所有文件的鍵重疊范圍(相當于鍵重疊的文件片段)，在下層文件中增加額外的SliceLink元數據來記錄這些重疊的文件片段。只有當下層文件SliceLink超過某個閾值時，才執行壓縮合并操作。執行壓縮合并操作時，只需要讀取下層文件和SliceLink對應的上層文件片段，從而減小壓縮合并操作導致的讀寫放大問題。然而，該方法存在以下缺陷：1)查找下層文件中的某個鍵值對時，需要先讀取SliceLink對應的上層文件片段，如果未命中，再讀取下層文件自身的內容，引入了額外的小粒度讀操作，會導致GET操作的讀放大問題；2)上層文件與下層文件重疊的文件片段數量不可控，存在SliceLink元數據過大的隱患；3)依托于文件系統，LSM-tree的壓縮合并操作與文件系統的GC操作、SSD內部的GC操作，存在功能冗余，同時LSM-tree的Key索引與文件系統的命名空間管理也存在功能冗余。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了基于OCSSD的鍵值存儲系統的寫、塊粒度壓縮合并方法和系統，其目的在于減小LSM-tree的讀寫放大問題，尤其是，垃圾回收過程中的讀寫放大問題和壓縮合并操作過程中的讀寫放大問題，消除上層應用軟件和底層存儲設備之間的語義隔離，提高鍵值存儲系統的吞吐量。

為實現上述目的，按照本發明的第一方面，提供了一種基于OCSSD的鍵值存儲系統的寫方法，該寫方法包括以下步驟：

在寫過程利用內存跳表中的鍵值對生成文件時，在生成文件數據塊的子過程中，記錄該數據塊的最小鍵、最大鍵和該數據塊在文件中的起始偏移量，當該數據塊的大小達到閃存頁大小的整數倍時，轉入S1；若內存跳表中的鍵值對消耗完畢，轉入S3；