[發明專利]一種基于SSD-SMR磁盤混合鍵值存儲系統數據組織方法

在審

• 申請號: 201811296432.6
• 申請日: 2018-11-01
• 公開（公告）號: CN109521959A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 伍衛國;聶世強;孫嵐子;李翀;劉釗華;毛海
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明公開了一種基于SSD?SMR磁盤混合鍵值存儲系統數據組織方法，在數據存儲過程中，將數據存儲索引過程中的鍵值對在由SSD和SMR磁盤組成的混合存儲系統中解耦合存儲，根據數據特征將數據分布到SSD和SMR磁盤，將鍵值對中的鍵存放在SSD，將鍵值對中的值存放在SMR磁盤，根據接收到上層應用發送請求指令后，在內存和SSD上的LSM樹查找目標key，根據查找結果，進行相應指令操作，將鍵值數據解耦合打散分布，實現混合存儲的最大化利用，利用SSD的高性能和SMR磁盤的大容量特點來優化應用對數據訪問速度，設計和實現低成本、高性能和大容量的混合鍵值存儲系統。本發明能夠優化數據讀寫速度，實現低成本、高性能和大容量的混合鍵值存儲系統。

技術領域

本發明涉及了計算機混合存儲系統領域，尤其涉及了一種基于SSD-SMR磁盤混合鍵值存儲系統數據組織方法。

背景技術

隨著移動互聯網、云計算、物聯網等新興技術的飛速發展，信息社會進入了網絡化的大數據時代。快速普及的智能化移動終端(電腦、手機、平板等)助推了全球移動數據流量的大幅度增長。IDC公司的“數字宇宙”報告顯示，從2005年到2020年全球每年創造、復制和使用的數據量將增長300倍，從130EB增長到40ZB。百度目前的總數據量已超過1000PB，每天需要處理的網頁數據達到10PB～100PB；淘寶累計交易數據量高達100PB。這其中包括海量圖片、視頻、文字、語音等非結構化數據，然而傳統的關系型數據庫只能用來存儲結構化的數據，隨著數據量指數級增長，關系型數據庫在大數據時代已經無法適用。解決這個問題的高效方案就是采用非關系型數據庫，非關系數據庫中的鍵值(Key-Value,KV)存儲在大數據時代扮演著至關重要的角色，已經被廣泛應用于搜索引擎、電子商務、社交網絡等領域，其中較為成熟的產品有Google公司的BigTable、LevelDB，Facebook公司的HBase、Cassandra和RocksDB，雅虎公司的PNUTS，百度公司的Atlas等。

目前主流的存儲介質在容量、成本、性能、壽命等方面存在很大差異，如果采用單一存儲介質構建鍵值存儲系統所能覆蓋的需求范圍是有限的。將異質存儲介質集成在一起，構成混合存儲系統，可以發揮各自的優勢，揚長避短，能顯著地擴大需求覆蓋范圍。將高性能的新型存儲介質和大容量的磁盤組合是混合存儲系統的常見方案，由于瓦記錄(Shingled Magnetic Recording，SMR)磁盤存儲容量大和基于NAND的閃存固態盤(SolidState Disk，SSD)讀寫速度快的特性，SSD和SMR磁盤的集成符合了高容量、高性能和低成本的需求。

簡單地直接整合SSD和SMR磁盤來構建基于SSD-SMR同級架構的混合鍵值存儲系統無法充分利用SSD的高性能和SMR磁盤大容量的特性。其原因是磁盤廠商為了兼容傳統軟件，在其中加入了轉換層以屏蔽內部結構差異，如SSD的閃存轉換層(Flash TranslationLayers，FTL)和SMR的瓦記錄轉換層(Shingled Translation Layers，STL)，而轉換層的存在導致上層應用無法感知其內部結構，從而無法針對其內部結構進行深入優化。

發明內容

本發明的目的在于提供一種基于SSD-SMR磁盤混合鍵值存儲系統數據組織方法，以克服現有技術的不足。

為達到上述目的，本發明采用如下技術方案：

一種基于SSD-SMR磁盤混合鍵值存儲系統數據組織方法，在數據存儲過程中，將數據存儲索引過程中的鍵值對在由SSD和SMR磁盤組成的混合存儲系統中解耦合存儲，根據數據特征將數據分布到SSD和SMR磁盤，將鍵值對中的鍵存放在SSD，將鍵值對中的值存放在SMR磁盤，根據接收到上層應用發送請求指令后，在內存和SSD上的LSM樹查找目標key，根據查找結果，進行相應指令操作。

進一步的，基于LSM樹構建鍵值存儲系統的索引，將鍵值索引LSM樹存放在SSD中。