[發明專利]一種分布式文件系統的元數據組織管理方法和系統

在審

• 申請號: 201310184416.9
• 申請日: 2013-05-17
• 公開（公告）號: CN103294786A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 馮丹;付寧;施展;陳云云;柳青;韓江;李白
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

技術領域

本發明屬于計算機存儲技術領域，更具體地，涉及一種分布式文件系統的元數據組織管理方法和系統。

背景技術

隨著數據信息的不斷膨脹，以及非結構化數據在各行各業中的廣泛應用，分布式文件系統為非結構數據的存儲管理提供了一個非常理想的解決方案。當前大多數分布式文件系統通常采用將元數據與數據單獨處理，即將控制流與數據流進行分離，從而獲得更好的系統擴展性以及IO并發性。此策略下的系統主要由元數據服務器MDS（Meta?Data?Server）、數據存儲服務器和客戶端三方架構組成，其中MDS主要負責存放文件命名空間，響應服務請求，提供文件存儲位置等元數據信息。在文件系統中，元數據的存儲空間在整個文件系統中通常不到10%，但統計表明，元數據在整個分布式文件系統中訪問比重高達50%到80%。因此高效的元數據架構管理對實現存儲系統的高性能和高可伸縮性至關重要，是系統評價和優化的一個重要部分。

在目前分布式文件系統典型的三方架構中，如著名的GFS，HDFS，Luster等，均提供一個中央元數據服務器負責元數據的存儲和客戶端查詢請求，為整個分布式文件系統提供元數據服務。但現有的分布式文件系統的MDS在處理成千上萬的客戶端請求時，對于元數據操作密集的情況，往往出現訪問時間延長，處理效率降低甚至崩潰等問題。另外，現今的互聯網應用，往往讀請求較多，寫請求較少，而傳統的分布式文件系統對這種情況并沒有采用特殊的應對方式。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種在分布式文件系統元數據服務器中，區分元數據讀寫請求，并采用寫時拷貝的B+樹組織管理元數據的元數據組織管理方法，其目的在于為客戶端提供目錄式操作，分離客戶端對B+樹的讀寫操作，由此解決現有元數據讀寫高并發操作在MDS上造成的元數據處理性能低下的技術問題，提高元數據服務器的處理能力。

為實現上述目的，按照本發明的一個方面，提供了一種分布式文件系統的元數據組織管理方法，包括以下步驟：

（1）接收來自客戶端的元數據請求消息包，并對該元數據請求消息包內容進行解析，根據解析得到的元數據請求消息包的類別將該元數據請求消息包放入對應的消息隊列；

（2）從消息隊列中提取元數據請求消息包，并對該元數據請求消息包進行解析，以獲得該元數據請求消息包的請求類型和請求內容；

（3）根據元數據請求消息包獲取B+樹中存放的元數據信息，并對該元數據信息進行相應的讀寫操作；具體而言，B+樹中節點類型主要包括葉子節點和非葉子節點，元數據信息均存儲于葉子節點中，對元數據信息的讀寫操作，即為對葉子節點中所存儲信息的讀寫操作；

（4）將讀寫操作后的結果放入元數據請求響應消息包中，并返回給客戶端。元數據請求響應消息包具體包括客戶端和MDS的連接信息、元數據請求消息包的請求類型，元數據請求消息包的請求結果、以及元數據請求消息包的請求內容。

優選地，還包括在步驟（1）之前，初始化元數據服務器的讀寫線程和消息隊列，并創建僅有根節點的B+樹的步驟。

優選地，初始化元數據服務器的讀寫線程和消息隊列，并創建僅有根節點的B+樹具體包括以下子步驟：

初始化元數據服務器的讀寫線程的參數，包括讀寫線程的啟動時間、讀寫線程結束后需進行的善后操作、以及讀寫線程運行中所觸發的回調函數，其中元數據服務器的讀線程數大于等于1，寫線程數僅為1；

初始化元數據服務器的消息隊列及其參數；

創建并初始化一棵僅有根節點的B+樹。

優選地，初始化元數據服務器的消息隊列及其參數是將讀消息隊列與若干讀線程進行綁定，將寫消息隊列與唯一的寫線程進行綁定，其中參數包括消息隊列的最大長度L、超時時長T、以及存儲數據的格式，存儲數據的格式被設置為消息包類別，創建并初始化一棵僅有根節點的B+樹是將該B+樹的全部節點均存放于內存中，B+樹中被初始化的內容包括B+樹中節點所能擁有的最大節點數、節點編號增長方式、節點查詢方式以及元數據存放方式。

優選地，步驟（1）具體包括以下子步驟：

（1-1）接收來自客戶端的元數據請求消息包；

（1-2）解析元數據請求消息包的內容，根據解析的內容區別該元數據請求消息包為讀操作還是寫操作；

（1-3）將區分后的元數據請求消息包放入相應的消息隊列，即將讀操作消息包放入讀消息隊列，將寫操作消息包放入寫消息隊列，然后進入步驟（3）。