[發明專利]一種拆分名字空間的元數據管理方法

有效

• 申請號: 200710308573.0
• 申請日: 2007-12-29
• 公開（公告）號: CN101196929A
• 公開（公告）日: 2008-06-11
• 發明（設計）人: 刑晶;唐榮鋒;熊勁;馬捷
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司
• 代理人: 梁揮;陳振

技術領域

本發明涉及存儲系統體系結構領域，特別是涉及一種拆分名字空間的元數據管理方法。

背景技術

隨著世界信息化的不斷推進，計算機已成為各行業中不可缺少的工具。在計算機中承載信息的存儲管理軟件正隨著信息量的突增而日益受到人們的重視。

存儲管理軟件的功能是將物理存儲介質(如磁盤、盤陣)組織成邏輯分組，以實現各種功能和特性。操作系統通過調用存儲管理軟件的接口為上層用戶提供存儲服務。

存儲系統中所處理的數據有兩類，一類是用戶使用的數據，另一類是存儲系統用于管理用戶數據的數據，即元數據。數據訪問的特點是IO量大，其CPU利用率低，對網絡帶寬要求高；元數據訪問的特點是IO量小，其CPU利用率高，對網絡延遲要求高。由于兩類數據的差異性，存儲系統將兩類數據的信息和控制流區分，分別定義了數據和元數據處理的功能操作，并將對兩類數據的管理分離到獨立部件。其中處理數據的部件稱為數據存儲服務器；處理元數據的部件稱為元數據服務器。

元數據服務器的設計從系統構成可以劃分為兩類：一類是單元數據服務器，它由一臺元數據服務器為整個系統提供元數據服務，所有客戶端的請求都發送到一臺元數據服務器上并被執行。該設計方式的優點是元數據請求都在一臺機器完成，不需要機器之間進行交互操作，具有實現相對簡單、易于管理的特點。其缺點是擴展性差，當分布式文件系統面對較大規模的密集元數據請求是元數據服務器會成為性能瓶頸，從而降低整個系統的處理性能。另一類是多元數據服務器，它由多臺元數據服務器為整個分布式文件系統共同提供元數據服務器。在這種多元數據服務器系統中，每一個元數據請求劃分到其中一個元數據服務器進行處理。多元數據服務器結構的優點是擴展性好，能適用于較大規模的機群運算環境；缺點是多元數據服務器之間的負載平衡難以維持，對元數據的一致性維護復雜，可靠性實現復雜。

對于多元數據服務器結構，名字空間在元數據服務器的組織和劃分是決定元數據處理擴展性和聚合處理性能的關鍵因素。現有的多元數據服務器一般采用以下四種方式來在多個元數據服務器上劃分名字空間。

動態劃分名字空間：該方法的核心思想是將文件系統看成多層結構，整個目錄樹以目錄子樹為單位劃分在多個元數據服務器上，目錄子樹創建目錄時根據目錄子樹的訪問量來確定其存放位置，當訪問量小時將目錄放在相同的元數據服務器上，當訪問量大時將目錄存放在父目錄和目錄名的hash值所在的元數據服務器上。該方法能夠根據訪問負載動態調整名字空間的分布，但對于同一目錄的訪問熱點則無法提供有效的方式來避免。

靜態劃分名字空間：該方法根據目錄路徑將目錄子樹劃分成若干分區，多個分區被分布到多個元數據服務器上，分區內的元數據操作都在分區所在元數據服務器完成，不允許跨分區的元數據操作。該方法由于多元數據服務器維護的名字空間沒有交叉所以能夠有較好的可擴展性，但不能根據負載變化對元數據分布動態調整，也不能解決同一目錄的訪問熱點問題。

利用hash表劃分名字空間：將文件或目錄根據其父目錄和名字利用hash函數得一個值，按照該值來將文件或目錄分布到多個元數據服務器上。對文件進行hash分布可以避免同一目錄的訪問熱點問題，但由于同一目錄中的文件由于hash被分布在不同元數據服務器上，導致丟失了局部性信息。對目錄進行hash分布能夠保持局部性信息，但同樣不能解決同一目錄的訪問熱點問題。

對名字塊進行劃分：在這種系統中，元數據與數據都存儲在共享數據盤上，元數據按照數據的方式記錄以塊為單位記錄到數據盤上，所有的服務器都可以訪問到元數據。多個服務器通過分布式鎖機制來實現對某一個元數據塊的互斥訪問。這種元數據管理方式便于維護元數據的一致性，但使用分布式鎖來控制訪問會增加系統通信消息數量，不僅會對系統擴展性有影響而且同樣無法避免訪問熱點問題。

發明內容

本發明的目的在于提供一種拆分名字空間的元數據管理方法，其能在提高元數據服務器的擴展性的同時也避免了同一目錄的訪問熱點問題。

為實現本發明的目的而提供的一種拆分名字空間的元數據管理方法，包括下列步驟：

A.創建文件系統；

B.對已創建好的文件系統進行管理。

所述步驟A還進一步包括：

A1.創建元數據服務器的元數據存儲目錄，初始化緩存結構；

A2.在指定的主元數據服務器上創建根目錄的索引結點，其索引結點的索引號為1，令其子目錄序號為0，創建目錄文件以存放子目錄序號為0的目錄項信息；

A3.利用函數B確定其他元數據服務器的子目錄序號，以此構建根目錄的子目錄分布數組；