[發明專利]基于主機管理瓦記錄磁盤的鍵值存儲系統及數據處理方法

有效

• 申請號: 201911125920.5
• 申請日: 2019-11-18
• 公開（公告）號: CN111026329B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 萬繼光;劉志文;姚婷;張藝文;盛濤濤;謝長生;譚志虎;吳非
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了基于主機管理瓦記錄磁盤的鍵值存儲系統及數據處理方法，屬于信息存儲技術領域。包括：LSM樹鍵值存儲模塊，用于接收用戶的請求，LSM樹鍵值存儲模塊的每一層空間都是由若干個主機管理瓦記錄磁盤的分區組成，每一層的數據嚴格分離；空間管理模塊，用于連接LSM樹鍵值存儲模塊和主機管理瓦記錄磁盤，負責主機管理瓦記錄磁盤的空間分配與回收。本發明將隨機寫轉化為順序寫，符合瓦記錄磁盤的特性，LSM樹鍵值存儲系統的每一層數據在磁盤中分離存儲，由于每層的數據流動速度不同，有效降低垃圾回收的開銷，磁盤空間管理采用按zone分配，空間分配與分層存儲結合，使各層數據更加集中。

技術領域

本發明屬于信息存儲技術領域，更具體地，涉及基于主機管理瓦記錄磁盤的鍵值存儲系統及數據處理方法。

背景技術

隨著互聯網技術的不斷發展，人們在使用互聯網的過程中產生的數據量越來越大，數據結構越來越復雜，存儲信息總量每年都在迅速增加。在存儲設備方面，硬盤一直占據著主導地位，因為它有著存儲容量大、單位存儲成本低和存儲技術成熟的特點，但是由于磁盤的超順磁效應的限制，其存儲容量受到了限制。在存儲系統方面，隨著大數據時代的到來，傳統的關系型數據庫處理這些數據越來越乏力。面對海量的、高并發的數據，我們需要大存儲容量、低單位成本的存儲設備，也需要處理數據靈活、性能高效的存儲系統。

近些年，瓦記錄磁盤的出現可將磁盤的存儲面密度提高2～3倍，從而磁盤的存儲容量也增大，瓦記錄磁盤作為一種新型的存儲設備，具備存儲容量大、成本低的存儲特性。LSM樹鍵值存儲系統作為非關系型數據庫的出現，在鍵值存儲系統中運用廣泛，能夠適應多種應用場景，并且其將隨機寫轉變成順序寫，具有極高的性能特點，將會是優秀的鍵值存儲系統。瓦記錄磁盤主要有三種類型：驅動器管理瓦記錄磁盤(Drive-Managed SMR)、主機管理瓦記錄磁盤(Host-Managed SMR)和主機感知型瓦記錄磁盤(Host-Aware SMR)。主機管理瓦記錄磁盤內部沒有轉換層，僅是一個數據存儲設備，用戶可以根據自己的應用需求設定合適的垃圾回收策略和讀寫操作，這是目前業界極為推薦的使用方式。但這類瓦記錄磁盤與現有的系統軟件并不兼容，需要管理數據存儲才能使用。

但現有的技術中，瓦記錄磁盤由于其磁道重疊，其隨機寫性能將會差，如何避免隨機寫將會是瓦記錄磁盤的熱點問題之一，大部分現有的瓦記錄磁盤都是通過劃分為一系列連續的大小相同的分區，每個分區內都只能順序寫入，而回收時需要將原有分區的數據遷移到新的分區中，這將是極大的開銷，特別是驅動器管理瓦記錄磁盤，因為是磁盤內部進行垃圾回收，會造成極大的寫放大，而主機感知型瓦記錄磁盤由于具備兼容性，結構比較復雜，會帶來額外的開銷，主機管理瓦記錄磁盤可以用戶設定垃圾回收策略，是業界使用較多的瓦記錄磁盤，如何減少瓦記錄磁盤的垃圾回收開銷是研究熱點。

現有的LSM樹鍵值存儲系統都是基于文件系統，直接將LSM樹鍵值存儲系統的數據存儲到主機管理瓦記錄磁盤上，會造成數據分布較為零散，空間利用率較低，且垃圾回收的開銷變大，將鍵值存儲系統正確地存儲到瓦記錄磁盤是關鍵問題。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了基于主機管理瓦記錄磁盤的鍵值存儲系統及數據處理方法，其目的在于將鍵值存儲系統的數據正確地存儲到瓦記錄磁盤，確保了瓦記錄磁盤避免隨機寫，同時提高了鍵值存儲系統的性能，將兩者正確的結合到一起。

為實現上述目的，按照本發明的第一方面，提供了一種基于主機管理瓦記錄磁盤的鍵值存儲系統，所述系統包括：

LSM樹鍵值存儲模塊，用于接收用戶的請求，LSM樹鍵值存儲模塊的每一層空間都是由若干個主機管理瓦記錄磁盤的分區組成，每一層的數據嚴格分離；

空間管理模塊，用于連接LSM樹鍵值存儲模塊和主機管理瓦記錄磁盤，負責主機管理瓦記錄磁盤的空間分配與回收。

具體地，從內存中申請一塊空間存放位圖，所述位圖用于記錄主機管理瓦記錄磁盤的各分區的使用情況，比特位為1表示使用，為0表示未使用。