[發明專利]分布式文件系統及其協存儲方法

無效

• 申請號: 201010203447.0
• 申請日: 2010-06-12
• 公開（公告）號: CN101877010A
• 公開（公告）日: 2010-11-03
• 發明（設計）人: 陳陽;彭杰;夏艦波
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市浩天知識產權代理事務所 11276
• 代理人: 劉云貴;劉海英

技術領域

本發明涉及通訊領域，尤其涉及一種分布式文件系統及其協存儲方法。

背景技術

一個分布式文件系統一般包含一個元數據服務器(Metadata?Server)和多個數據服務器(Data?Server)及多個客戶端(Client)。元數據服務器和數據服務器被客戶端訪問，具體如圖1所示：

文件被分成固定尺寸的塊(CHUNK)，存儲在Data?Server上，為了保證可靠性，每個CHUNK可以存儲在多個Data?Server上。

Metadata?Server管理文件所有的元數據，包括文件命名空間、訪問控制信息，文件到CHUNK的映射信息，以及CHUNK當前所在的位置等。它還管理系統范圍的活動，例如CHUNK租用管理，孤兒CHUNK的垃圾回收，以及CHUNK在Data?Server間的移動。Metadata?Server用心跳信息周期地跟每個Data?Server通訊，給它們以指示并收集它們的狀態。

Client實現了文件系統應用程序接口(Application?Program?Interface，簡稱API)，幫助應用程序與Metadata?Server和Data?Server通訊，對數據進行讀寫。Client跟Metadata?Server交互進行元數據操作，Client根據這些元數據信息與Data?Server直接進行數據操作。

圖2示出了Client打開文件的流程，是文件訪問的第一必要步驟，包括：Client向Metadata?Server發送打開(open)文件，Metadata?Server返回元數據，其中包括數據信息；Client執行創建文件描述結構體。

圖3是現有技術的Client讀取文件的流程，參考圖3，當上層應用程序調用read接口時，Client根據讀參數向Metadata?Server請求讀取CHUNK的位置，成功后向Client返回該位置信息，最后由Client直接對Data?Server上的該CHUNK進行讀操作。

根據上述的處理，存在以下問題：對一個很小文件而言(例如：小于某一預設值MIN的小文件)，這種通用的讀流程顯得比較冗長。在某些特殊的大量存儲小文件的應用情景下，系統會由于反復訪問小文件而導致讀效率下降，因此有必要提出改進的技術手段，來解決此問題。

發明內容

有鑒于現有技術存在現有的反復訪問小文件而導致讀效率下降的問題而做出本發明，為此本發明的主要目的在于提供一種分布式文件系統及其協存儲方法，其中：

根據本發明實施例的分布式文件系統的協存儲方法包括：客戶端創建文件描述結構體，文件描述結構體中包括數據流信息，其用于存儲預先擴充的元數據的數據流字段；客戶端在讀操作時，對文件描述結構體的數據流信息進行讀取。

優選地，在客戶端進行讀操作之前，該方法進一步包括：客戶端對文件描述結構體的數據流信息進行寫操作。

優選地，在客戶端創建文件描述結構體之前，該方法進一步包括：客戶端在打開文件時，通過元數據服務器獲取包括數據流字段的元數據。

優選地，客戶端創建文件描述結構體進一步包括：客戶端根據獲取到的元數據創建文件描述結構體，并返回文件句柄。

優選地，客戶端在讀操作時，對文件描述結構體的數據流信息進行讀取，進一步包括：客戶端在讀操作時，根據文件句柄定位到對應的文件描述結構體，并對文件描述結構體的數據流信息進行讀取。

根據本發明實施例的分布式文件系統，包括客戶端和元數據服務器，其中客戶端包括：創建模塊，用于創建文件描述結構體，文件描述結構體中包括數據流信息，其用于存儲預先擴充的元數據的數據流字段；讀操作模塊，用于對文件描述結構體的數據流信息進行讀取。

優選地，客戶端進一步包括：寫操作模塊，用于對文件描述結構體的數據流信息進行寫操作。

優選地，客戶端進一步包括：獲取模塊，用于在打開文件時，通過元數據服務器獲取包括數據流字段的元數據。

優選地，創建模塊進一步用于根據獲取模塊獲取到的元數據創建文件描述結構體，并返回文件句柄。

優選地，讀操作模塊進一步用于根據文件句柄定位到對應的文件描述結構體，并對文件描述結構體的數據流信息進行讀取。

與現有技術相比，根據本發明的技術方案，縮短了客戶端讀取小文件的流程，避免了對元數據服務器的訪問和頻繁的硬盤操作，提高了系統的讀取速度和整體并發處理能力。

附圖說明