[發明專利]一種分布式文件系統中小文件數據存儲、讀取方法及裝置

在審

• 申請號: 201710058679.3
• 申請日: 2017-01-23
• 公開（公告）號: CN106843770A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 王敏
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京輕創知識產權代理有限公司11212
• 代理人: 楊立

1.一種分布式文件系統中小文件數據存儲方法，其特征在于，包括：

S1a，在分布式文件系統中，將分布式內存庫作為分級緩存層，并增加異步提交緩存模塊；

S2a，當向分布式文件系統中寫入小文件數據時，將所述小文件數據寫入分級緩存層；

S3a，當分級緩存層中的小文件數據量達到預設量時，由異步提交緩存模塊從分級緩存層中讀取小文件數據，寫入數據持久層；

S4a，當異步提交緩存模塊向數據持久層中提交小文件數據成功后，清除分級緩存層中對應的小文件數據。

2.如權利要求1所述的分布式文件系統中小文件數據存儲方法，其特征在于，所述步驟S2a具體包括：

S21a，以數據塊為單位向分布式文件系統中寫入小文件數據時，查找分級緩存層中是否存在文件緩存信息，若存在，執行步驟S22a，若不存在，則創建文件緩存信息，執行步驟S22a；

S22a，根據需要寫入的數據塊，從文件緩存信息中查找是否存在對應的緩存數據塊索引信息，若存在，則在分級緩存層中更新緩存數據塊；若不存在，則創建緩存數據塊索引信息，并將數據塊存儲到分級緩存層中。

3.如權利要求2所述的分布式文件系統中小文件數據存儲方法，其特征在于，所述步驟S3a具體包括：

當分級緩存層中的小文件數據量達到預設量時，由異步提交緩存模塊讀取分級緩存層中的數據塊，寫入數據持久層代理層，由數據持久層代理層通過通信網絡將數據塊寫入數據持久層。

4.一種分布式文件系統中小文件數據讀取方法，其特征在于，包括：

S1b，當分布式文件系統接收到數據讀取請求時，根據數據讀取請求判斷分級緩存層中是否存在對應的小文件數據；

S2b，若存在，則從分級緩存層中讀取對應的小文件數據返回，若不存在，則從數據持久層中讀取對應的小文件數據返回。

5.如權利要求4所述的分布式文件系統中小文件數據讀取方法，其特征在于，所述步驟S1b具體包括：

S11b，當接收到數據讀取請求時，判斷分級緩存層中是否存在對應的緩存數據塊索引信息，若不存在，則從數據持久層中讀取對應的數據塊返回，若存在，執行S12b；

S12b，加載對應的緩存數據塊索引信息，并根據緩存數據塊索引信息查找分級緩存層中是否存在對應的數據塊，若存在，則從分級緩存層中讀取對應的數據塊返回，若不存在，則從數據持久層中讀取對應的數據塊返回。

6.一種分布式文件系統中小文件數據存儲裝置，其特征在于，包括數據寫入模塊、異步提交緩存模塊和清除模塊；

所述數據寫入模塊，用于當向分布式文件系統中寫入小文件數據時，向分布式文件系統中的分級緩存層中寫入小文件數據；

所述異步提交緩存模塊，用于當分級緩存層中的小文件數據量達到預設量時，從分級緩存層中讀取小文件數據，寫入數據持久層；

所述清除模塊，用于當所述異步提交緩存模塊向數據持久層中提交小文件數據成功后，清除分級緩存層中對應的小文件數據。

7.如權利要求6所述的分布式文件系統中小文件數據存儲裝置，其特征在于，所述數據寫入模塊包括第一查找單元、第二查找單元、更新單元、第一創建單元和第二創建單元；

所述第一查找單元，用于當以數據塊為單位向分布式文件系統中寫入小文件數據時，在分級緩存層中查找是否存在文件緩存信息，若存在，調用第二查找單元；若不存在，調用第一創建單元；

第一創建單元，用于創建文件緩存信息，調用第二查找單元；

所述第二查找單元，用于根據需要寫入的數據塊，從文件緩存信息中查找是否存在對應的緩存數據塊索引信息，若存在，調用更新單元，若不存在，調用第二創建單元；

所述第二創建單元，用于創建緩存數據塊索引信息，并將數據塊存儲到分級緩存層中；

所述更新單元，用于在分級緩存層中更新緩存數據塊。

8.如權利要求7所述的分布式文件系統中小文件數據存儲裝置，其特征在于，所述異步提交緩存模塊具體用于：

當分級緩存層中的小文件數據量達到預設量時，讀取分級緩存層中的數據塊，寫入數據持久層代理層，由數據持久層代理層通過通信網絡將數據塊寫入數據持久層。