[發明專利]一種基于分布式文件系統的小文件存儲方法和裝置

在審

• 申請號: 201410581517.4
• 申請日: 2014-10-27
• 公開（公告）號: CN105630779A
• 公開（公告）日: 2016-06-01
• 發明（設計）人: 黃學軍;王宇;胡景翔
• 申請（專利權）人: 杭州?？低曄到y技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

1.一種基于分布式文件系統HDFS的小文件存儲方法，其特征在于，包括：

當接收到針對任一小文件的存儲請求時，為小文件分配一個文件句柄，該文件句 柄由一個索引文件和一個數據文件組成，其中，索引文件中包括一個第一記錄區和一 個第二記錄區，第一記錄區中存儲有數據文件的存儲路徑信息；

將小文件存儲到數據文件中，并將小文件對應的索引塊信息存儲到第二記錄區中， 索引塊信息中包括：索引塊號、小文件在數據文件中的起始偏移位置和小文件的大小。

2.根據權利要求1所述的方法，其特征在于，

所述為小文件分配一個文件句柄包括：

確定文件句柄隊列中包括的文件句柄數是否已經達到預定閾值；

如果否，則創建一個新的文件句柄，其中的數據文件和索引文件的第二記錄區中 均為空，并將新創建的文件句柄分配給小文件；

如果是，則將位于文件句柄隊列最前面的文件句柄分配給小文件；

該方法進一步包括：當小文件及其對應的索引塊信息均已存儲完成時，將為小文 件分配的文件句柄放入到文件句柄隊列的末尾。

3.根據權利要求2所述的方法，其特征在于，

該方法進一步包括：

如果為小文件分配的文件句柄的數據文件中的剩余存儲空間小于小文件的大小或 者發生存儲異常，則將為小文件分配的文件句柄關閉，并從文件句柄隊列中移除，并 創建一個新的文件句柄，將新創建的文件句柄分配給小文件。

4.根據權利要求1、2或3所述的方法，其特征在于，

第一記錄區位于第二記錄區的前面，且大小固定；第二記錄區中按照索引塊號由 小到大的順序依次存儲有各索引塊信息，且每個索引塊信息的大小固定；

所述將小文件存儲到數據文件中包括：從數據文件中已存儲的數據結束位置開始， 存儲小文件；

小文件對應的索引塊號等同于小文件在數據文件中的存儲順序號。

5.根據權利要求4所述的方法，其特征在于，

該方法進一步包括：

當小文件及其對應的索引塊信息均已存儲完成時，將小文件對應的索引文件的存 儲路徑信息和索引塊號返回給存儲請求的發送方。

6.根據權利要求5所述的方法，其特征在于，

該方法進一步包括：

當接收到針對任一小文件的讀取請求時，獲取其中攜帶的索引文件的存儲路徑信 息和索引塊號；

根據獲取到的索引文件的存儲路徑信息，找到相應的索引文件，并讀取出存儲在 找到的索引文件的第一記錄區中的數據文件的存儲路徑信息，根據讀取出的數據文件 的存儲路徑信息找到對應的數據文件；

計算(獲取到的索引塊號-1)*每個索引塊信息的大小，得到獲取到的索引塊號對 應的索引塊信息在找到的索引文件的第二記錄區中的起始偏移位置，并根據得到的起 始偏移位置和每個索引塊信息的大小，從第二記錄區中讀取出獲取到的索引塊號對應 的索引塊信息；

根據讀取出的索引塊信息中的小文件在數據文件中的起始偏移位置和小文件的大 小，從找到的數據文件中讀取出小文件，并返回給讀取請求的發送方。

7.一種基于分布式文件系統HDFS的小文件存儲裝置，其特征在于，包括：第一 處理模塊和第二處理模塊；

所述第一處理模塊，用于當接收到針對任一小文件的存儲請求時，為小文件分配 一個文件句柄，該文件句柄由一個索引文件和一個數據文件組成，其中，索引文件中 包括一個第一記錄區和一個第二記錄區，第一記錄區中存儲有數據文件的存儲路徑信 息；

所述第二處理模塊，用于將小文件存儲到數據文件中，并將小文件對應的索引塊 信息存儲到第二記錄區中，索引塊信息中包括：索引塊號、小文件在數據文件中的起 始偏移位置和小文件的大小。