[發明專利]一種分布式文件系統

有效

• 申請號: 201410295985.5
• 申請日: 2014-06-27
• 公開（公告）號: CN104111804B
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 官全龍;胡舜;羅偉其;翁健
• 申請（專利權）人: 暨南大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 禹小明,凌衍芬

1.一種分布式文件系統，其特征在于，包括：

大文件存儲服務器用于存儲拆分后的大文件數據塊，其中大文件為大于預設大小的文件；

大文件元數據管理服務器，用于存儲大文件的元數據、存儲大文件存儲服務器上大文件數據塊的映射信息、管理大文件的命名空間和處理用戶的請求信息；

緩存服務器，用于存儲小文件、小文件的元數據和緩存部分訪問量大的大文件，其中，小文件為小于或等于預設大小的文件；

其中，緩存服務器用于連接用戶，以接收用戶請求、處理用戶請求并返回請求結果給用戶，在此過程中，當緩存服務器無法處理用戶請求通常會將用戶請求轉發發給大文件元數據管理服務器進行請求處理，請求處理的結果也將通過緩存服務器返回給用戶，此時緩存服務器不對用戶請求和請求處理的結果做任何的處理，僅用作數據的轉發裝置。

2.根據權利要求1所述的分布式文件系統，其特征在于，所述大文件存儲服務器包括若干臺，大文件元數據管理服務器包括至少三臺，緩存服務器包括至少三臺。

3.根據權利要求2所述的分布式文件系統，其特征在于，至少三臺大文件元數據管理服務器之間采用自適應、動態調整的方式存儲大文件元數據和大文件存儲服務器上大文件數據塊的映射信息以及承擔用戶請求的處理任務；

至少三臺緩存服務器之間采用自適應、動態調整方式存儲數據和處理用戶請求。

4.根據權利要求1所述的分布式文件系統，其特征在于，任何大文件元數據及大文件存儲服務器上大文件數據塊的映射信息存儲在至少2臺大文件元數據管理服務器上。

5.根據權利要求4所述的分布式文件系統，其特征在于，緩存服務器上設置有用于存儲小文件元數據以及緩存服務器上所存儲大文件的元數據的元數據保存區、用于存儲小文件的小文件保存區以及用于緩存部分訪問量大的大文件的大文件緩存區。

6.根據權利要求5所述的分布式文件系統，其特征在于，緩存服務器中設有計數器，用于實現大文件訪問分類機制，具體實現過程為:當用戶通過該緩存服務器請求讀寫某個大文件時，該大文件訪問量加1；

設置訪問量閥值；

訪問量高于訪問量閥值的大文件稱為經常訪問大文件；

緩存服務器對于經常訪問大文件依據訪問量從高到低進行排序。

7.根據權利要求6所述的分布式文件系統，其特征在于，緩存服務器中存儲部分訪問量大的大文件的存儲方式為：

當緩存服務器的緩存區空間足夠時，緩存服務器將新大文件直接添加到大文件緩存區并在元數據保存區中添加新的大文件的元數據；

當緩存服務器的大文件緩存區空間不足時，若緩存服務器需要添加一個新的用戶經常訪問的大文件，則將大文件緩存區中訪問量最低的經常訪問大文件刪除直到空間足夠，接著將新的大文件添加進大文件緩存區。

8.根據權利要求1至7任一項所述的分布式文件系統，其特征在于，所述緩存服務器以永久性方式保存小文件元數據，以日志形式永久存儲小文件，以更新方式保存經常訪問大文件元數據。

9.根據權利要求2所述的分布式文件系統，其特征在于，當其中一臺大文件元數據管理服務器故障后，系統立刻引導用戶請求到其他大文件元數據管理服務器進行處理，直到故障的大文件元數據管理服務器恢復正常；

當故障后恢復的大文件元數據管理服務器為空，則其他大文件元數據管理服務器與該大文件元數據管理服務器同步故障前與其相同的大文件元數據及大文件數據塊映射信息。

10.根據權利要求2所述的分布式文件系統，其特征在于，當其中一臺緩存服務器故障后，系統立刻引導用戶請求到其他緩存服務器處理，直到故障的緩存服務器恢復正常；

若故障后恢復的緩存服務器為空，則其他緩存服務器與該緩存服務器同步故障前與該緩存服務器相同的小文件及小文件元數據。