[發明專利]一種分布式持久性內存文件系統中元數據及數據組織架構方法

在審

• 申請號: 202110737961.0
• 申請日: 2021-06-30
• 公開（公告）號: CN113704217A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 劉守業;薛棟梁;黃林鵬
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 上海伯瑞杰知識產權代理有限公司 31227
• 代理人: 孟旭彤

本發明公開了一種分布式持久性內存文件系統中元數據及數據組織架構方法，其包括：構建根元數據區、元數據索引區、元數據區、數據區和日志區；根元數據區為分布式持久性內存文件系統的關鍵信息存儲區域；元數據索引區，由二級索引組成，包括初級的段索引以及次級的組索引，用于快速獲取元數據的序號以及元數據地址；元數據區，包括元數據位圖區、詳細信息存儲區；數據區是分布式持久性內存文件系統中數據塊的存儲區域，采用基數樹結構組織方式；日志區用于記錄文件數據的修改，并將變化內容記錄入日志，以確保文件系統的一致性。通過該方法可得到針對分布式文件系統的分布式持久性內存，其可靠性高，性能好。

技術領域

本發明涉及計算機系統軟件技術領域，具體涉及一種分布式持久性內存文件系統中元數據及數據組織架構方法。

背景技術

傳統的分布式文件系統的物理存儲資源基于磁盤(HDD)和閃存(SSD)構建，有持久化需求的數據需要通過DRAM內存刷新到HDD或者SSD，從而降低了分布式文件系統的性能。新型的持久性內存PM結合了DRAM內存和磁盤的優良特性，具有低訪問延時、低功耗、掉電數據不丟失和可字節訪問等優點。直接將PM引入分布式文件系統，使其作為其物理存儲資源，這會導致整個分布式文件系統的硬件體系架構層次發生變化，進而需要重構或者優化分布式文件系統的軟件棧。元數據及數據的組織架構方法是分布式文件系統設計中的關鍵技術，然而現有的分布式文件系統中鮮有專門針對分布式持久性內存，進行元數據及數據的組織架構方法。

在本技術領域，涉及以下技術術語：

DRAM：Dynamic Random Access Memory，動態隨機存儲器，即現階段廣泛使用的內存，其特點是斷電后信息丟失，理論上讀寫壽命不受限制。

DDR4 SDRAM：Double Data Rate Fourth Generation Synchronous DynamicRandom Access Memory，第四代雙倍數據率同步動態隨機存儲器，是目前最新一代的計算機存儲器規格，相比歷代規格提供更低的電壓、功耗與更高的帶寬。

PM：Persistent Memory，非易失型內存或持久性內存STTRAM、PCM、RRAM 都屬于PM，其特點是斷電后信息不丟失，可字節尋址；但讀寫次數受限制，并且讀寫不對稱，根據材料的不同，傳統的PM寫耗費時間大概是其讀耗費時間的 2到4倍，PM的讀時間比DRAM慢1到3倍，Intel最新發布的Optane DC Persistent Memory在讀寫速度上已經與現有的DDR4規格的DRAM相當。

分布式文件系統：文件系統管理的物理存儲資源分布在多個物理機器節點上，物理機器節點之間通過網絡相互連接和傳輸數據，用戶可以像訪問本地文件系統一樣訪問存放在分布式文件系中的數據資源，而不必關心從哪個節點上獲得數據存放在分布式文件系中的數據資源，而不必關心從哪個節點上獲得數據或者在哪個物理節點上存放數據。分布式文件系統可以有效地擴展數據的存儲方或者在哪個物理節點上存放數據。分布式文件系統可以有效地擴展數據的存儲方式，加速數據的讀取速率，加強系統的容錯性式，加速數據的讀取速率，加強系統的容錯性等。圖1給出了一種分布式文件系統的架構圖。

分布式持久性內存文件系統：如圖2所示，即在圖1的基礎上將PM引入分布式文件系統的每個物理節點，這些物理節點之間通過TCP/IB連接并進行數據傳輸。基于圖2的物理架構設計的分布式文件系統稱為分布式持久性內存文件系統。

發明內容

本發明的目的是根據上述現有技術的不足之處，提供一種分布式持久性內存文件系統中元數據及數據組織架構方法，所述方法能夠快捷的添加到分布式持久性內存文件系統的設計中，對構建基于新型持久性內存的分布式系統有積極的意義。

本發明目的實現由以下技術方案完成：

一種分布式持久性內存文件系統中元數據及數據組織架構方法，其包括：構建根元數據區、元數據索引區、元數據區、數據區和日志區，其中：