[發明專利]一種分布式文件系統

有效

• 申請號: 201410295985.5
• 申請日: 2014-06-27
• 公開（公告）號: CN104111804B
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 官全龍;胡舜;羅偉其;翁健
• 申請（專利權）人: 暨南大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 禹小明,凌衍芬

技術領域

本發明涉及計算機存儲技術領域，更具體地，涉及一種分布式文件系統。

背景技術

隨著云計算的普及和完善，越來越多的用戶將個人或企業數據儲存在云端，這些數據不僅包括大文件還包括小文件，這類數據具有數據量大、讀取頻率高于寫入頻率、需要進行快速檢索等特點。

目前，云服務提供商所使用的文件系統主要分為兩類：網絡文件系統(Network File System，NFS)和分布式文件系統(Hadoop Distributed File System，HDFS)。網絡文件系統指云服務提供商在服務器上進行虛擬分區，劃分一塊的磁盤空間給用戶進行文件存儲，而用戶每次讀寫文件都需要先登錄遠程虛擬服務器，在虛擬磁盤上進行文件讀寫，該類系統的缺陷在于所有用戶數據都保存在同一服務器上，如果服務器故障則對用戶正常操作產生重大影響。

分布式文件系統指在服務提供商利用多臺服務器進行集群共同存儲數據的文件系統，用戶在讀寫文件時需要發送請求，后臺服務器處理用戶請求并將請求結果發還給用戶，當前使用最廣泛的分布式文件系統是HDFS，然而該系統具有兩個主要缺陷：無法高效存儲大量的小文件和只有單一命名節點進行全局管理。為了改進這些缺陷后來的研究者提出了多種文件系統，然而卻具有各自的缺陷，如針對海量小文件存儲提出了TFS（Taobao File System），其將大量的小文件合并為一個大文件存儲在數據服務器上，與HDFS相比該方法沒有明顯的進步，僅僅將小文件整合成一個大文件數據塊存儲在數據服務器上，且增加了一臺備用命名服務器。而備用命名服務器不直接參與處理用戶請求，只有當命名服務器宕機后備用命名服務器才代替命名服務器處理用戶請求。該方法缺陷在于命名服務器主要負責處理用戶請求，且存儲空間是固定的，當數據量越來越大，其性能將成為限制TFS發展的瓶頸。且當命名服務器嚴重故障導致數據丟失時，備用命名服務器需要一邊與命名服務器同步數據，一邊響應用戶的請求，此時備用命名服務器的負荷量過大。在MapR文件系統中，將文件數據塊和元數據同時保存在節點上，克服了單一命名服務器的瓶頸，但將大文件和小文件同時存儲在一起，浪費了存儲資源且不便于管理。

當前的分布式文件系統存在無法有效存儲小文件并解決單一管理節點的難題。用戶的文件數據各種各樣，大小各不相同，云服務端的文件系統存儲效率至關重要，也直接影響著文件系統的故障響應及恢復速度。設計合理的分布式文件系統，能夠快速地恢復文件存儲過程出現的故障，有極其重要的意義及實際應用價值。

發明內容

本發明為克服上述現有技術所述的至少一種缺陷（不足），提供一種能有效存儲小文件的分布式文件系統。

為解決上述技術問題，本發明的技術方案如下：

一種分布式文件系統，包括：

大文件存儲服務器用于存儲拆分后的大文件數據塊，其中大文件為大于預設大小的文件；

大文件元數據管理服務器，用于存儲大文件的元數據、存儲大文件存儲服務器上大文件數據塊的映射信息、管理大文件的命名空間和處理用戶的請求信息；

緩存服務器，用于存儲小文件、小文件的元數據和緩存部分訪問量大的大文件，其中，小文件為小于或等于預設大小的文件。

上述方案中，所述大文件存儲服務器包括若干臺，大文件元數據管理服務器包括至少三臺，緩存服務器包括至少三臺。

上述方案中，至少三臺大文件元數據管理服務器之間采用自適應方式存儲大文件元數據和大文件存儲服務器上大文件數據塊的映射信息以及承擔用戶請求的處理任務；

至少三臺緩存服務器之間采用自適應、動態調整方式存儲數據和處理用戶請求。

上述方案中，任何大文件元數據及大文件存儲服務器上大文件數據塊的映射信息存儲在至少2臺大文件元數據管理服務器上。

上述方案中，緩存服務器上設置有用于存儲小文件元數據以及緩存服務器上所存儲大文件的元數據的元數據保存區、用于存儲小文件的小文件保存區以及用于緩存部分訪問量大的大文件的大文件緩存區。

上述方案中，緩存服務器中設有計數器，用于實現大文件訪問分類機制，具體實現過程為：當用戶通過該緩存服務器請求讀寫某個大文件時，該大文件訪問量加1；

設置訪問量閥值；

訪問量高于訪問量閥值的大文件稱為經常訪問大文件；

緩存服務器對于經常訪問大文件依據訪問量從高到低進行排序。

上述方案中，緩存服務器中存儲部分訪問量大的大文件的存儲方式為：