[發明專利]一種面向內存云的元數據目錄結構實現方法

在審

• 申請號: 201810604826.7
• 申請日: 2018-06-13
• 公開（公告）號: CN108984617A
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 侯迪;侯智琦;齊勇;王培健;趙文嘉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 張震國

本發明的面向內存云的元數據目錄結構實現方法，采用目錄樹的形式，將目錄結構與目錄節點內容進行分離，提高節點內容可變的靈活性，每個目錄節點單獨增設簡稱pid字段，子節點的pid字段指向父節點的fileid字段，并對pid字段添加二級索引，當用戶檢索目錄的時候，利用pid二級索引、Key?Value和內存存儲的優勢，提高目錄檢索效率，掛載效率也得到了很大的提升。

技術領域

本發明涉及計算機領域，涉及一種一種面向內存云的元數據目錄結構實現方法。

背景技術

內存云(RAMCloud)是一種Key-Value型新型數據中心存儲系統，它是由成千上萬臺普通服務器的主存所組成的大規模系統，任何時候、所有信息都存儲在這些快速的DRAM(動態隨機訪問存儲器，即俗稱的內存)中，內存取代了傳統系統中的硬盤，而硬盤只作為備份使用。內存云的集群主要由主服務器(Master)和備份服務器(Backup)組成，其中，Master用來存儲和計算；Backup則是用來重啟系統之后的快速恢復。此外，集群中還有一個協調器(Coordinator)，它的功能類似于Hadoop分布式文件系統中的NameNode節點，負責管理配置信息等功能。

RAMCloud將所有數據存放在DRAM中，性能可以達到比目前最高性能的硬盤存儲系統還要高100～1000倍。在訪問延遲方面，RAMCloud方案中運行在應用服務器中的一個進程從同一數據中心的存儲服務器中通過網絡讀取數百字節數據只需5～10μs，而目前實際系統一般要花費0.5～10ms，具體取決于數據是在服務器內存緩存中，還是硬盤中。而且，一臺多核存儲服務器每秒可以服務至少100萬次讀取請求。而硬盤系統中同樣的機器每秒只能服務1000～10000次請求。由此可見，內存云將會是未來存儲中一大重要突破點。

傳統的高能物理元數據通過采用磁盤存儲，利用Mysq1數據庫存儲其目錄結構以及元數據信息，能夠滿足TB級別的數據量產生的元數據目錄結構的檢索。而在EB級別的情況下，由于其目錄結構較深，檢索性能已經明顯不能滿足應用對元數據目錄的訪問需求。

發明內容

本發明的目的在于克服現有技術不足，提供一種面向內存云的元數據目錄結構實現方法，將目錄結構與目錄節點內容分離，克服現有內存云元數據目錄結構較深，檢索性能較低的問題。

為實現上述目的本發明采用如下方案：

一種面向內存云的元數據目錄結構實現方法，包括如下步驟：

1)采用RAMCloud內存數據庫，定義目錄結構樹，每個節點定義fileid字段和pid字段，數據字段根據需要進行賦值，子節點的pid字段指向父節點的fileid字段；

2)分別定義TABLE_INDEX表和TABLE_DATA表將目錄結構和目錄信息內容分離；TABLE_INDEX表用于存放目錄結構，以pid和name作為key，fileid作為value；TABLE_DATA表用于存放節點內容，以fileid作為key，節點其他信息封裝成統一的結構體作為value；

3)增加二級索引機制，定義內存云中的索引IndexKey：：IndexKeyRange類型，由pid+name和單獨的pid形成復合Key，VALUE為fileid和查詢結果為fileid集合的復合VALUE，定義范圍查找IndexLookup類型，通過IndexLookup循環檢索子目錄；

4)即TABLE_DATA表的KEY是TABLE_INDEX表的VALUE，當用戶檢索某個文件時，首先會檢索目錄結構，當檢索到文件所在的目錄并得到目的節點的fileid，再通過TABLE_DATA表將fileid作為key來獲取文件內容。