[發明專利]一種對于海量小文件在分布式存儲系統中上載的方法

有效

• 申請號: 201410603326.3
• 申請日: 2014-10-30
• 公開（公告）號: CN105630810B
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 楊浩;馬照云;王利虎;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業股份有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種對于海量小文件在分布式存儲系統中上載的方法，所述上載方法包括下述步驟：

(1)客戶端根據操作系統的標準POSIX語義，查找帶有創建請求的目標文件；

(2)元數據服務器對文件進行預創建，建立文件池；

(3)利用元數據服務器聚合管理文件元數據；

(4)經內核模塊對文件排序后批量同步上載；

所述步驟(2)中，所述元數據服務器對文件進行預創建，建立文件池步驟如下：

2-1為待創建文件分配唯一標識；

2-2向數據服務器發起對象創建請求，并等待處理完成；

2-3進行元數據創建操作；

2-4返回客戶端；

所述步驟2-3中，所述進行元數據創建操作，包括在元數據服務器上預先創建一定數目的文件，并放入備用文件池中；當客戶端有創建請求到來時，從文件池中分配一個文件，返回給客戶端即可；當空閑文件池中沒有可用文件時，元數據服務器直接向數據服務器發起對象創建請求，同時，喚醒后臺線程向文件池填充空閑文件。

2.如權利要求1所述的上載方法，其特征在于，所述步驟(1)中，所述客戶端為分布式文件系統的入口，根據文件系統的標準POSIX語義，合并文件的查找和創建動作；如果檢測到本次查找的意圖是創建，則在服務端完成創建動作，并由查找請求將對應文件元數據帶回。

3.如權利要求1所述的上載方法，其特征在于，所述步驟(3)中，所述聚合管理是將文件的元數據存放在一個元數據文件中。

4.如權利要求3所述的上載方法，其特征在于，如果一個元數據文件管理N個元數據，此時操作磁盤的次數將由原來的N次減小為1次。

5.如權利要求1所述的上載方法，其特征在于，所述步驟(4)中，批量同步上載的方法包括下述步驟：

步驟4-1.將多個小文件同時寫入操作系統的文件緩存，由系統后臺線程回寫，回寫時按批聚合，不進行單次操作的磁盤同步；

步驟4-2.引入內核模塊，按照文件在磁盤上的數據塊排列順序，從小到大并發同步；

步驟4-3.對由元數據發起的創建對象請求進行批量聚合處理，完成同步上載。