[發明專利]一種對于海量小文件在分布式存儲系統中上載的方法

有效

• 申請號: 201410603326.3
• 申請日: 2014-10-30
• 公開（公告）號: CN105630810B
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 楊浩;馬照云;王利虎;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業股份有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明涉及一種對于海量小文件在分布式存儲系統中上載的方法，該方法包括：客戶端根據操作系統的標準POSIX語義，查找帶有創建請求的目標文件；元數據服務器對文件進行預創建，建立文件池；利用元數據服務器聚合管理文件元數據；經內核模塊對文件排序后批量同步上載。解決了小文件創建延遲大、數目少的問題，大大提高了上載速率，且減少了硬件資源浪費，節約了成本。

技術領域

本發明涉及一種上載方法，具體涉及一種對于海量小文件在分布式存儲系統中上載的方法。

背景技術

數字化時代的今天，隨著需要存儲的數據量日益增長，單一的存儲硬件設備已經難以在容量和性能上滿足數目眾多的行業的存儲需求。為了滿足數目繁多的行業對非結構化數據的存儲需求，一批分布式文件系統應運而生，這其中的代表者如PNFS、GPFS、Lustre、GoogleFS、HDFS等。這些分布式文件系統都是通過軟件來將硬件集群進行統一管理，對外展現一個統一的存儲池，從而達到對硬件資源進行虛擬化整合的目的。

對于目前分布式結構數據存儲來說，根據其存儲性，大致可分為大文件存儲和小文件存儲。大文件存儲例如：視頻存儲、高性能計算等，小文件存儲例如：數字圖書館、網上商城等。對于目前成熟的分布式文件系統，對大文件的存儲可謂是得心應手，而當面臨海量小文件時，卻往往顯得力不從心。為了減少小文件存儲對分布式文件系統的壓力，很多專用接口的文件系統，如GoogleFS、HDFS、TBFS，均采用將多個小文件聚合成大文件的方式，來減緩頻繁訪問對于底層磁盤件的壓力，從而達到提供服務能力的效果。而提供通用接口的分布式文件系統，對于小文件存儲則沒有對應的優化策略，導致在數字圖書館、網上商城等小文件應用的表現不容樂觀。

數字圖書館和網上商城這類應用的訪問模式是集中上載，然后進行隨機讀取。上載時，通常需要在短時間內創建和寫入上億個小文件；上載完畢后，這些小文件會隨時被讀取。據用戶測試反應，通常一個TB的小文件上載需要的時間往往大于48小時，這樣的性能令人無法忍受。

對于分布式文件系統的小文件上載壓力可歸為以下兩個方面：其一是上載時元數據和數據的創建壓力，即需要在短時間內創建上億個文件；其二是上載時數據的寫壓力，即需要在短時間內將上億個小文件寫入磁盤。為了解決第一個問題，GPFS等文件系統采用了多元數據服務器的方法，其不足在于對于硬件資源比較浪費，成本相對較高；對于第二個問題，GoogleFS等文件系統采用了多個小文件聚合成大文件的方式來提高硬盤的IO帶寬，不足之處在于需要增加額外的管理數據，復雜度較高。

發明內容

針對現有技術的不足，本發明提出一種對于海量小文件在分布式存儲系統中上載的方法，根據操作系統的標準POSIX語義，合并文件的查找和創建動作；該方法操作簡單，克服了小文件上載速率不足的缺陷，提高了整體上載的性能，從而減少了硬件資源浪費，降低了成本。

本發明的目的是采用下述技術方案實現的：

針對現有技術的不足，本發明提出一種對于海量小文件在分布式存儲系統中上載的方法，所述上載方法包括下述步驟：

(1)客戶端根據操作系統的標準POSIX語義，查找帶有創建請求的目標文件；

(2)元數據服務器對文件進行預創建，建立文件池；

(3)利用元數據服務器聚合管理文件元數據；

(4)經內核模塊對文件排序后批量同步上載。

優選的，所述步驟(1)中，所述客戶端為分布式文件系統的入口，根據文件系統的標準POSIX語義，合并文件的查找和創建動作；如果檢測到本次查找的意圖是創建，則在服務端完成創建動作，并由查找請求將對應文件元數據帶回。

優選的，所述步驟(2)中，所述元數據服務器對文件進行預創建步驟如下：

2-1為待創建文件分配唯一標識；