[發(fā)明專利]一種分布式文件系統(tǒng)中小文件數據存儲、讀取方法及裝置

在審

• 申請?zhí)枺?/td>: 201710058679.3
• 申請日: 2017-01-23
• 公開（公告）號: CN106843770A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設計）人: 王敏
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京輕創(chuàng)知識產權代理有限公司11212
• 代理人: 楊立

技術領域

本發(fā)明涉及數據存儲、讀取技術領域，具體涉及一種分布式文件系統(tǒng)中小文件數據存儲、讀取方法及裝置。

背景技術

海量小文件存儲(簡稱LOSF，lots of small files)出現后，就一直是業(yè)界的難題。通過對若干分布式存儲系統(tǒng)的調研、測試與使用，與其它分布式系統(tǒng)相比，海量小文件存儲更側重于解決兩個問題：(1)海量小文件的元數據信息組織與管理；(2)海量小文件的讀寫速率。

小文件訪問具有訪問頻率高、訪問量大的特性，傳統(tǒng)文件系統(tǒng)中小文件的訪問對主機磁盤的壓力較大，分布式文件系統(tǒng)以集群形式對外提供服務，但是小文件的存儲性能仍然受網絡時延和磁盤響應速度的影響。

發(fā)明內容

本發(fā)明提供了一種分布式文件系統(tǒng)中小文件數據存儲、讀取方法及裝置，能夠提高分布式文件系統(tǒng)中小文件數據的存儲效率。

本發(fā)明解決上述技術問題的技術方案如下：一種分布式文件系統(tǒng)中小文件數據存儲方法，包括：

S1a，在分布式文件系統(tǒng)中，將分布式內存庫作為分級緩存層，并增加異步提交緩存模塊；

S2a，當向分布式文件系統(tǒng)中寫入小文件數據時，先將所述小文件數據寫入分級緩存層；

S3a，當分級緩存層中的小文件數據量達到預設量時，由異步提交緩存模塊從分級緩存層中讀取小文件數據，寫入數據持久層；

S4a，當異步提交緩存模塊向數據持久層中提交小文件數據成功后，清除分級緩存層中對應的小文件數據。

本發(fā)明的有益效果為：在分布式文件系統(tǒng)中，將分布式內存庫作為分級緩存層，并增加異步提交緩存模塊，當向分布式文件系統(tǒng)中寫入小文件數據時，先將小文件數據寫入分級緩存層，利用緩存層的輕量級緩存功能減小對持久層磁盤的壓力，然后由異步提交緩存模塊從分級緩存層中讀取小文件數據，存儲到數據持久層，這樣可以降低小文件數據持久化的響應時間，從而提高分布式文件系統(tǒng)中小文件數據的存儲效率。

另一方面，本發(fā)明提供了一種分布式文件系統(tǒng)中小文件數據讀取方法，包括：

S1b，當分布式文件系統(tǒng)接收到數據讀取請求時，根據數據讀取請求判斷分級緩存層中是否存在對應的小文件數據；

S2b，若存在，則從分級緩存層中讀取對應的小文件數據返回，若不存在，則從數據持久層中讀取對應的小文件數據返回。

本發(fā)明的有益效果為：當從分布式文件系統(tǒng)中讀取小文件數據時，先從分級緩存層中讀取，當讀取失敗時，再從數據持久層中讀取小文件數據，減輕了數據持久層的壓力，加快了小文件數據讀取的效率。

再一方面，提供了一種分布式文件系統(tǒng)中小文件數據存儲裝置，包括數據寫入模塊、異步提交緩存模塊和清除模塊；

所述數據寫入模塊，用于當向分布式文件系統(tǒng)中寫入小文件數據時，先向分級緩存層中寫入小文件數據；

所述異步提交緩存模塊，用于當分級緩存層中的小文件數據量達到預設量時，從分級緩存層中讀取小文件數據，寫入數據持久層；

所述清除模塊，用于當所述異步提交緩存模塊向數據持久層中提交小文件數據成功后，清除分級緩存層中對應的小文件數據。

又一方面，還提供了一種分布式文件系統(tǒng)中小文件數據讀取裝置，包括：

判斷模塊，用于接收到數據讀取請求時，根據數據讀取請求判斷分級緩存層中是否存在對應的小文件數據；

數據讀取模塊，用于若分級緩存層中存在對應的小文件數據，則從分級緩存層中讀取對應的小文件數據返回，若否，則從數據持久層中讀取對應的小文件數據返回。

附圖說明

圖1為本發(fā)明一個實施例的分布式文件系統(tǒng)中小文件數據存儲方法流程圖；

圖2為本發(fā)明另一個實施例的分布式文件系統(tǒng)中小文件數據存儲方法流程圖；

圖3為本發(fā)明一個實施例的分布式文件系統(tǒng)中小文件數據讀取方法流程圖；

圖4為本發(fā)明另一個實施例的分布式文件系統(tǒng)中小文件數據讀取方法流程圖；

圖5為本發(fā)明一個實施例的分布式文件系統(tǒng)中小文件數據存儲裝置框圖示意圖；

圖6為本發(fā)明另一個實施例的分布式文件系統(tǒng)中小文件數據存儲裝置框圖示意圖；

圖7為本發(fā)明一個實施例的分布式文件系統(tǒng)中小文件數據讀取裝置框圖示意圖。

具體實施方式

以下結合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

參見圖1，為實施例1的一種分布式文件系統(tǒng)中小文件數據存儲方法，包括：