[發明專利]一種基于分布式文件系統的小文件存儲方法和裝置

在審

• 申請號: 201410581517.4
• 申請日: 2014-10-27
• 公開（公告）號: CN105630779A
• 公開（公告）日: 2016-06-01
• 發明（設計）人: 黃學軍;王宇;胡景翔
• 申請（專利權）人: 杭州海康威視系統技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

技術領域

本發明涉及數據存儲技術，特別涉及一種基于分布式文件系統(HDFS，Hadoop DistributedFileSystem)的小文件存儲方法和裝置。

背景技術

HDFS是一個分布式文件系統，有著高容錯性的特點，被設計用來部署在低廉的 硬件上，且能夠提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應 用程序。

在HDFS中，每存儲一個文件，則需要為其建立并維護專屬的元數據信息。

隨著現代計算機技術及互聯網技術的發展，無論是企業還是個人的數據都呈現迅 速增長之勢，相應地，需要存儲的數據量越來越多，而文件的大小從KB到MB差異 非常大。

HDFS主要適合存儲大文件，在存儲小文件時則會存在一定的問題，如：由于需 要維護所存儲的每個小文件的元數據信息，那么當所存儲的小文件數量很多時，則需 要維護大量的元數據信息，從而需要占用極大的內存空間。

發明內容

有鑒于此，本發明提供了一種基于HDFS的小文件存儲方法和裝置，能夠較好的 節省內存空間。

為了達到上述目的，本發明的技術方案是這樣實現的：

一種基于HDFS的小文件存儲方法，包括：

當接收到針對任一小文件的存儲請求時，為小文件分配一個文件句柄，該文件句 柄由一個索引文件和一個數據文件組成，其中，索引文件中包括一個第一記錄區和一 個第二記錄區，第一記錄區中存儲有數據文件的存儲路徑信息；

將小文件存儲到數據文件中，并將小文件對應的索引塊信息存儲到第二記錄區中， 索引塊信息中包括：索引塊號、小文件在數據文件中的起始偏移位置和小文件的大小。

一種基于HDFS的小文件存儲裝置，包括：第一處理模塊和第二處理模塊；

所述第一處理模塊，用于當接收到針對任一小文件的存儲請求時，為小文件分配 一個文件句柄，該文件句柄由一個索引文件和一個數據文件組成，其中，索引文件中 包括一個第一記錄區和一個第二記錄區，第一記錄區中存儲有數據文件的存儲路徑信 息；

所述第二處理模塊，用于將小文件存儲到數據文件中，并將小文件對應的索引塊 信息存儲到第二記錄區中，索引塊信息中包括：索引塊號、小文件在數據文件中的起 始偏移位置和小文件的大小。

可見，本發明所述方案中，可采用將多個小文件合并存儲到一個大的數據文件中 的方式，來實現小文件的存儲，從而僅需要維護每個數據文件及對應的索引文件的元 數據信息，進而較好的節省了內存空間。

附圖說明

圖1為本發明基于HDFS的小文件存儲方法實施例的流程圖。

圖2為本發明文件句柄隊列對各文件句柄的管理方式示意圖。

圖3為本發明文件句柄、索引文件和數據文件三者的關系及結構示意圖。

具體實施方式

為了使本發明的技術方案更加清楚、明白，以下參照附圖并舉實施例，對本發明 所述方案作進一步的詳細說明。

圖1為本發明基于HDFS的小文件存儲方法實施例的流程圖。如圖1所示，包括 以下步驟11～12。

步驟11：當接收到針對任一小文件x的存儲請求時，為小文件x分配一個文件句 柄，該文件句柄由一個索引文件和一個數據文件組成，其中，索引文件中包括一個第 一記錄區和一個第二記錄區，第一記錄區中存儲有數據文件的存儲路徑信息。

為便于表述，用小文件x來代表任意一個需要進行存儲的小文件。

數據文件的存儲路徑，即指數據文件在HDFS中的存儲路徑。

步驟12：將小文件x存儲到數據文件中，并將小文件x對應的索引塊信息存儲到 第二記錄區中，索引塊信息中包括：索引塊號、小文件x在數據文件中的起始偏移位 置和小文件x的大小。

以下對上述步驟11和步驟12的具體實現進行詳細說明。