[發明專利]基于服務器集群的熱點元數據管理方法

無效

• 申請號: 201310552106.8
• 申請日: 2013-11-08
• 公開（公告）號: CN103544322A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 陸月明;齊磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及基于服務器集群的熱點元數據管理方法，該方法應用于采用服務器集群的分布式文件系統中，可提高熱點元數據的訪問速度，屬于信息領域。

背景技術

云計算、大數據和虛擬化場景等新興技術與服務均是依賴于海量數據的存儲，應用于海量數據存儲的分布式文件系統在這些領域中都發揮著很重要的作用，因此分布式文件系統的性能提升也必然會促進這些新興技術與服務的進步。然而，分布式文件系統在設計目標、體系結構、系統規模、性能、可擴展性、可用性等方面都有別于傳統的文件系統。

目前應用較為廣泛的分布式文件系統，比如HDFS、MooseFS和TFS均把文件分成兩部分，一部分是文件的元數據（Metadata），包括文件名、屬性和權限、修改時間等信息，另外一部分是文件的數據（即文件內容，簡稱數據）。這兩部分數據在分布式文件系統中被存儲到不同的服務器中。在某些分布式文件系統中采用了一臺服務器來存儲所有文件的元數據，這個服務器稱為元數據服務器（簡稱為MDS），但采用一臺元數據服務器管理元數據要比采用多臺元數據服務器（元數據服務器集群）管理的方式來說，在可靠性、可用性以及可擴展性等方面要遜色很多。

此外，分布式文件系統中文件讀寫操作與元數據密切相關，元數據管理效率的高低在很大程度上影響了整個分布式文件系統讀寫性能。因此，有越來越多的分布式文件系統采用元數據服務器集群來管理元數據。

使用元數據服務器集群管理元數據會涉及到元數據分配策略問題，目前使用較為普遍的方式是子樹分割法，子樹分割法包括靜態子樹分割法和動態子樹分割法。靜態子樹分割法通過系統管理員的操作將文件目錄（稱為目錄樹）分割成多個目錄子樹（子目錄），并將這些目錄子樹部署到多臺MDS上，單臺MDS僅負責管理單個目錄子樹，靜態子樹分割法的優點是管理簡單，但缺點是當出現用戶對某個目錄子樹下的元數據（熱點元數據）進行集中訪問時就會出現存儲熱點元數據的那臺MDS負載過重的情況。子樹分割法中第二種是動態子樹分割法，它能夠將負載動態地分配到每臺MDS上，但是當出現復雜的目錄樹結構或者是執行重命名等操作時，會出現大量的元數據遷移，并且按這種方式構建的系統的結構也十分復雜。

本發明提出基于服務器集群的熱點元數據管理方法，綜合了靜態子樹分割法和動態子樹分割法的優點，在保證系統結構較為簡單的同時，能夠進行負載均衡，解決熱點元數據的集中訪問問題。

發明內容

本發明“基于服務器集群的熱點元數據管理方法”由元數據訪問監控、元數據訪問控制、目錄樹信息管理、目錄子樹信息管理、目錄子樹拆分、元數據遷移六個模塊組成。下面詳細介紹基于服務器集群的熱點元數據管理方法的結構和各個組成部分的內容。

（1）本發明構架

為了實現本發明“基于服務器集群的熱點元數據管理方法”，要求對現有的分布式文件系統的多元數據服務器集群的體系結構進行修改，本發明形成的熱點元數據管理架構如圖1所示。

（2）本發明的六個組成模塊

本發明“基于服務器集群的熱點元數據管理方法”由元數據訪問監控、元數據訪問控制、目錄樹信息管理、目錄子樹信息管理、目錄子樹拆分、元數據遷移六個模塊組成。以下就各功能模塊及其方法作詳細說明。

●元數據訪問監控：該模塊用于監控每個目錄子樹的元數據訪問情況。這里首先定義目錄子樹的訪問熱度和訪問熱度的閾值。每個目錄子樹都對應一個訪問熱度，每到來一個用戶的元數據請求時，相應目錄子樹的訪問熱度增1，等待時間T后，訪問熱度減1。當目錄子樹的訪問熱度達到訪問熱度的閾值后，元數據成為熱點元數據。當該模塊監測到某個目錄子樹出現熱點元數據時，則通知目錄子樹信息管理模塊需要對這個目錄子樹進行拆分。

●元數據訪問控制：該模塊用于響應具體的元數據訪問請求，建立用戶與具體MDS間的通信。當系統在進行目錄子樹的拆分操作時，會涉及到元數據遷移操作，為保護元數據的安全性和一致性，元數據訪問控制模塊會暫時將對熱點元數據的訪問請求置于等待狀態，并存入等待隊列中，直到目錄子樹完成拆分操作，并向目錄樹信息管理模塊和目錄子樹信息管理模塊反饋相應的信息后，再開始處理處于等待狀態的元數據訪問請求。

●目錄樹信息管理：該模塊負責管理每個目錄子樹間的層次關系，以保障系統能夠根據用戶提供的文件或目錄的絕對路徑定位到正確的目錄子樹上。在系統部署時，由系統管理員對最初目錄樹進行人工拆分，將拆分得到的目錄子樹部署到不同的MDS上。