[發明專利]分布式文件系統的元數據管理方法及設備

在審

• 申請號: 201210308585.4
• 申請日: 2012-08-27
• 公開（公告）號: CN103631820A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 彭淵
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

技術領域

本申請涉及分布式文件系統，尤其涉及一種分布式文件系統的元數據管理方法及設備。

背景技術

目前，市場上已有的分布式文件系統的實現方法，主要有google公司提出的GFS的論文理論和以按照該論文實現的hadoop的HDFS（Hadoop?Distributed?File?System）分布式文件系統。在HDFS文件系統中，Namenode（名稱節點）是分布式文件元數據管理的中心服務器，負責管理文件系統的目錄命名和客戶端對文件的訪問。

在HDFS分布式文件系統中，當客戶端存儲文件時，將文件內容拆分成多個塊，這些塊數據散落地存儲在不同的計算機節點上，而該文件的路徑目錄名稱等元數據以及該文件被拆分的塊位置信息等被存放在Namenode機器上。當客戶端讀取該文件時，會訪問Namenode查找該文件路徑并獲取拆分的塊位置信息，然后分別直接到存放各塊的計算機上讀取塊的內容，并將各塊的內容合并得到要讀取的文件。可見，Namenode負責保存和管理所有的GFS元數據，它維持著一個象操作系統文件資源管理器一樣的樹狀目錄結構，可以訪問、查詢、獲取文件的元數據。

由于Hadoop的HDFS中包含一個Namenode和多個Datanode（數據節點），因此Namenode的單一設計會嚴重制約了整個Hadoop的可擴展性和可靠性。首先，Namenode是整個系統中明顯的單點故障源。其次，Namenode的內存容量是有限的，這使得Hadoop集群的節點數量被限制到2000個左右，能支持的文件系統大小被限制在10-50PB,最多能支持的文件數量大約為1.5億左右（注：實際數量取決于Namenode的內存大小）。再次，由于單一的Namenode定期地接收來自多個Datanode的心跳報告，這也會對Namenode的性能造成嚴重的影響。例如，系統有1800個Datanode,每個Datanode有3T存儲，整個集群大約有1.8P有效存儲（1800*3T/3，在此假設每個數據塊有3份備份）。那么，每個Datanode上大約有50000個左右的數據塊（假設數據塊大小是64M，然而有的數據塊并沒有達到64M大小），假設Datanode每小時會發送一次塊信息的心跳報告，那么Namenode每兩秒會收到一次報告信息，每個報告信息包含50000條數據，處理這些數據無疑會占用相當多的資源。實際上，集群的Namenode重啟需要數小時，這大大降低了系統的可用性。

由此可見，現有技術如Hadoop的Namenode管理文件元數據的方式中存在單點故障、容量限制、內存限制、性能限制等問題。

發明內容

本申請的主要目的在于提供一種松耦合、高可用、高擴展性的元數據管理方法及設備，以解決現有技術存在的單點故障、容量限制、內存限制、性能限制等問題，其中：

本申請提供一種用于分布式文件系統的元數據管理設備，其特征在于，包括：計算機集群，其包括多個計算機節點，所述多個計算機節點用于獲取其所在計算機的操作系統中的存儲文件的元數據信息；集群管理單元，用于對所述多個計算機節點的注冊信息進行登記，且檢測并保持所述多個計算機節點的在線狀況；以及信息瀏覽單元，用于根據所述多個計算機節點的注冊信息并基于來自客戶端的元數據訪問請求，訪問所述計算機集群中的關聯的且為在線狀態的計算機節點來獲取元數據信息，并將元數據信息格式轉換為元數據后返回給客戶端。

根據本申請的實施例，在該設備中，所述信息瀏覽單元進一步包括：接收單元，用于接收來自客戶端的元數據訪問請求，并且從所述集群管理單元獲取所述多個計算機節點的注冊信息并按照預定的規則顯示所述注冊信息；解析單元，用于對所述元數據訪問請求進行解析，并訪問所述計算機集群中與解析的結果相關聯的且為在線狀態的計算機節點；以及獲取單元，用于從所述關聯的且為在線狀態的計算機節點獲取與所述元數據訪問請求對應的元數據信息，將所述元數據信息格式轉換為所述元數據，并將所述元數據返回給客戶端。

根據本申請的實施例，在該設備中，所述集群管理單元包括一個主用單元和多個備用單元，所述主用單元在更新注冊信息時實時地將更新信息發送到所述多個備用單元，以使得當主用單元發生故障時從其他備用單元中獲取注冊信息。

根據本申請的實施例，在該設備中，所述元數據訪問請求是基于FTTP文件協議的元數據訪問請求。

根據本申請的實施例，在該設備中，所述多個計算機節點的注冊信息是用于存儲元數據的多個計算機節點的IP地址。

根據本申請的實施例，在該設備中，所述信息瀏覽單元和所述客戶端位于同一設備中。