[發明專利]分布式文件系統及其存儲海量小文件的方法

有效

• 申請號: 201510443330.2
• 申請日: 2015-07-24
• 公開（公告）號: CN105138571B
• 公開（公告）日: 2019-12-24
• 發明（設計）人: 楊雪蓮;李強;姜韜
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172
• 代理公司: 51213 四川省成都市天策商標專利事務所
• 代理人: 劉渝

1.一種分布式文件系統，其特征在于包括客戶端、資源定位模塊和數據存儲模塊，

所述客戶端被配置成：向資源定位模塊發送小文件上傳請求、將小文件上傳至數據存儲模塊；

所述資源定位模塊包括至少一個資源定位器，所述資源定位器被配置成：處理客戶端發送的小文件上傳請求、為客戶端分配源節點、指定數據存儲服務器中的一個數據存儲節點作為合并存儲的主服務器，所述主服務器被配置成：為小文件分配空閑存儲單元并完成小文件的合并存儲、將小文件的存儲信息同步到與主服務器同組的其他數據存儲節點，所述源節點為資源定位器查詢得到的可用的數據存儲節點，所述源節點被配置成：將上傳的小文件主動推送至與其同組的其他數據存儲節點，所述主服務器還包括為各個數據存儲節點分配的以空閑存儲單元大小作為關鍵字的平衡二叉樹，所述平衡二叉樹用于保存空閑存儲單元；

所述數據存儲模塊包括至少一組數據存儲服務器，所述數據存儲服務器包括至少一個數據存儲節點，所述數據存儲模塊被配置成用于實現小文件的存儲、同步，所述數據存儲節點的存儲空間包括大小相等的多個存儲單元，所述存儲單元包括最小存儲空間和最大存儲空間，所述主服務器被配置成：當上傳的小文件小于最小存儲空間時，則上傳的小文件占用一個存儲空間；當上傳的小文件大于最大存儲空間時，則上傳的小文件作為一個單獨的文件存儲。

2.根據權利要求1所述的分布式文件系統，其特征在于所述主服務器為數據存儲服務器中最先啟動的數據存儲節點或最近一次與資源定位器發起主動連接的數據存儲節點。

3.一種分布式文件系統存儲海量小文件的方法，其特征在于包括步驟：

A、組建權利要求1或2所述的分布式文件系統；

B、當用戶需要上傳小文件時，通過客戶端向資源定位器發起上傳請求，資源定位器為客戶端分配源節點并指定數據存儲服務器中的一個數據存儲節點作為主服務器，所述主服務器為小文件分配空閑存儲單元并完成小文件的合并存儲，文件合并存儲結束后，將空閑存儲單元的使用情況發送至主服務器；

C、源節點將小文件及其存儲信息同步到與源節點同組的其他數據存儲節點；

D、主服務器將合并存儲日志同步到與主服務器同組的其他數據存儲節點。

4.根據權利要求3所述的分布式文件系統存儲海量小文件的方法，其特征在于所述步驟B具體包括步驟：

B1、當用戶需要上傳文件時，由客戶端向資源定位器發起上傳請求；

B2、資源定位器查詢可用的數據存儲節點作為源節點并指定主服務器；

B3、資源定位器將源節點的IP和端口信息返回給客戶端；

B4、客戶端上傳小文件到源節點；

B5、源節點判斷其本身是否是主服務器，如果不是，執行步驟B6，反之則跳轉至步驟B7；

B6、源節點發送請求到主服務器，請求主服務器分配一個可用的空閑存儲單元進行合并存儲，轉入步驟B10；

B7、源節點查找主服務器的平衡二叉樹是否有合適的空閑存儲單元，如果沒有，則執行步驟B8，反之則跳轉至步驟B9；

B8、使用一個新的存儲單元進行小文件的存儲，存儲完畢后將存儲單元的剩余存儲空間作為空閑存儲單元添加至平衡二叉樹，轉入步驟B10；

B9、將查找到的空閑存儲單元分成兩部分，將空閑存儲單元的一部分存儲文件，將空閑存儲單元的另一部分作為新的空閑存儲單元加入到平衡二叉樹，轉入步驟B10；

B10、文件合并存儲結束后，將空閑存儲單元的使用情況發送至主服務器，將生成的合并文件ID返回給客戶端。

5.根據權利要求3所述的分布式文件系統存儲海量小文件的方法，其特征在于所述合并存儲日志包括文件的操作信息、大文件名、小文件在大文件中的偏移量、小文件占用的存儲空間大小。

6.根據權利要求3所述的分布式文件系統存儲海量小文件的方法，其特征在于所述步驟C還包括：

啟動線程對日志文件進行輪詢，檢查是否有需要同步的文件，并將已同步的文件記錄到標識文件；

數據存儲節點定時將自身的狀態信息上報給資源定位器；

源節點向資源定位器報告其向每個數據存儲節點同步小文件及其存儲信息的時間點。