[發(fā)明專利]一種應用于隨機存取的元數據管理方法及模塊

無效

• 申請?zhí)枺?/td>: 201310129692.5
• 申請日: 2013-04-15
• 公開（公告）號: CN103218433A
• 公開（公告）日: 2013-07-24
• 發(fā)明（設計）人: 陸月明;解曉偉;袁玉宇;及瑩
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及一種應用于隨機存取的元數據管理方法及模塊，該方法應用于分布式文件系統的元數據服務器集群管理及其元數據管理上，屬于計算機科學與技術領域。

背景技術

近些年來，隨著互聯網的高速發(fā)展，每天都會產生數以億計的數據量，分布式文件系統逐漸成為大規(guī)模數據存儲的首要選擇。在分布式存儲架構中，為了更有效地管理元數據和文件數據，通常把元數據的處理和文件數據的訪問分離開來，由元數據服務器管理文件系統命名空間和文件各種屬性，并負責向客戶端提供文件訪問權限和文件存儲位置等信息，同時由數據服務器負責存儲文件，并直接處理客戶端對文件數據的各種讀寫請求。這樣分離之后，就可以利用分布式文件系統的訪問特性，具體針對系統瓶頸進行優(yōu)化，而最近的研究顯示，文件系統中50%-80%的訪問操作對象都是元數據，而不是數量較大的文件數據，因此，元數據的管理策略對于系統性能具有至關重要的影響。

元數據的管理策略大概可以分為兩類：子樹分割和哈希方法。其中子樹分割策略把分布式文件系統的全局命名空間和目錄層次按照一定策略分割成多棵子樹，每棵子樹都分布到元數據服務器集群中的一臺特定的元數據服務器中，但每臺元數據服務器中可能維護有一棵或多棵子樹；而哈希方法采用哈希函數來建立元數據存儲索引，意味著元數據管理系統利用每個文件和目錄的某個特征（名稱、路徑名等）來計算哈希值，并根據這些哈希值把對應的文件或目錄分布到某臺元數據服務器中存儲。子樹分割方法在80至90年代的分布式文件系統中使用比較廣泛，如美國Sun公司的Network?File?System（NFS）和卡內基梅隆大學的Andrew?File?System（AFS）都是采用的這種元數據管理策略。子樹分割方法非常接近人們的直觀思維，實現起來較為簡單，但缺點也較多，如權限驗證耗時長，不能動態(tài)均衡負載等。

2004年，Lustre分布式文件系統通過普通的哈希函數計算文件的上級目錄名的哈希值，把該哈希值作為元數據存儲索引值，而90年代末期的VESTA分布式文件系統和RAMA分布式文件系統通過普通的哈希函數直接計算文件的全路徑名稱的哈希值作為元數據存儲的索引值，這兩種元數據管理系統雖用不同的唯一標志來計算哈希值，但都屬于哈希策略。此類策略具有明顯的優(yōu)點，元數據在元數據服務器集群中存儲均勻，存取負載分布均衡，且支持高并發(fā)存取，但同時缺點也是明顯的，當客戶端對文件目錄進行重命名操作時，元數據服務器需要遷移元數據，當客戶端訪問文件或目錄時，文件系統要對該文件或目錄的上級目錄進行權限認證，而上級目錄可能存放在其他元數據服務器上，所以元數據服務器之間要頻繁地通信以確保用戶具有對文件或目錄的訪問權限。

發(fā)明內容

本發(fā)明“一種應用于隨機存取的元數據管理方法及模塊”由三個模塊組成，如圖1所示，分別是傳統哈希策略模塊、名字映射模塊和目錄結構模塊，下面從各模塊的功能、具體實現以及模塊的執(zhí)行流程來對本發(fā)明做詳細說明。

（1）本發(fā)明各模塊的功能

●傳統哈希策略模塊：該發(fā)明的基礎模塊，它由一個哈希函數組成，該模塊的功能是運用哈希函數對文件或目錄的全路徑計算哈希值，然后根據計算得到的哈希值確定存放文件或目錄的元數據的位置。

●名字映射模塊：該發(fā)明的特色模塊，它由全路徑分解和名字映射表兩部分組成，所謂全路徑分解就是把文件或目錄的全路徑名分解成一個個單獨的目錄名和文件名，而名字映射表記載了文件或目錄的原始名和重命名的對應關系。該模塊的功能是完成文件或目錄的重命名到原始名的轉換。

●目錄結構模塊：該發(fā)明的關鍵模塊，它由結構化編碼，目錄結構及權限查詢表以及權限認證三部分組成。結構化編碼是指對文件或目錄的全路徑名等信息進行編碼；目錄及權限查詢表記錄了文件與目錄、目錄與目錄之間的關聯信息以及用戶對它們的訪問權限；權限認證是指判斷用戶對某個文件或目錄是否具有訪問的權限。

該發(fā)明的三個模塊各自具有各自的功能。傳統哈希策略模塊提供了高效的元數據訪問方法，名字映射模塊利用名字映射避免了在文件或目錄名字改變時遷移大量元數據，目錄結構模塊提供了目錄與目錄、目錄與文件的元數據之間的關聯信息，避免了元數據服務器在交換元數據信息時的頻繁通信。具體功能如下：

（2）本發(fā)明中各模塊功能的具體實現

本發(fā)明中的每個模塊功能的實現是依賴于每個模塊中各組成部分的實現方法，具體介紹如下：

●傳統哈希策略模塊的在實現上，是由一個哈希函數對文件或目錄的全路徑名計算哈希值。