[發明專利]分布式存儲方法和設備

有效

• 申請號: 201610083819.8
• 申請日: 2016-02-06
• 公開（公告）號: CN107045422B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 張勇;蔡藝聰;武鳴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王君;劉愛平

1.一種分布式存儲的方法，其特征在于，所述方法應用于分布式存儲系統，所述系統包括文件系統、第一線程服務和第二線程服務，

所述第一線程服務按照第一規則將所述文件系統中的M個小文件離線合并成一個第一文件，所述小文件小于預定字節，M為大于1的整數；

所述第一線程服務在所述離線合并的過程中生成M個元數據，所述M個元數據用于分別指示所述M個小文件在所述第一文件中的位置；

所述第二線程服務將所述M個元數據加載到元數據集合中，所述元數據集合包括任意離線合并過程中產生的元數據；

當所述第二線程服務接收用戶發來的第一指令時，所述第二線程在所述元數據集合中查找是否存在第一小文件的元數據，所述第一指令用于指示對所述第一小文件進行操作；

若所述第二線程服務在所述元數據集合中查找到存在所述第一小文件的元數據，則執行所述第一指令對應的操作；

其中，所述按照第一規則將所述文件系統中的M個小文件離線合并成一個所述第一文件，包括：

所述第一線程服務遍歷所述文件系統中小文件的目錄；

所述第一線程服務按照用戶文件權限和用戶組文件權限，將所述文件系統中所有小文件進行分組；

所述第一線程服務啟動映射歸約MR任務，按照所述第一規則，將每組內至少M個小文件離線合并成一個所述第一文件。

2.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行讀取時，所述方法還包括：

若所述第二線程服務在所述元數據集合中沒有查找到所述第一小文件的元數據，所述第二線程服務向用戶返回所述第一小文件不存在的消息。

3.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行讀取時，所述第二線程服務根據執行所述第一指令對應的操作包括：

所述第二線程服務讀取所述第一小文件的元數據。

4.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行創建時，所述方法還包括：

若所述元數據集合不包括所述第一小文件的元數據，所述第二線程服務在所述文件系統中創建所述第一小文件。

5.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行創建時，所述第二線程服務根據執行所述第一指令對應的操作包括：

向用戶發送是否覆蓋所述第一小文件內容的提示；

若用戶沒有輸入是否覆蓋所述第一小文件內容時，所述第二線程服務向用戶返回創建失敗的消息。

6.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行創建時，所述第二線程服務根據執行所述第一指令對應的操作還包括：

向用戶發送是否覆蓋所述第一小文件內容的提示；

若用戶輸入要覆蓋所述第一小文件內容時，所述第二線程服務刪除所述元數據集合中的所述第一小文件的元數據，重新創建所述元數據集合中所述第一小文件的元數據。

7.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行刪除時，所述方法還包括：

當所述元數據集合不包括所述第一小文件的元數據時，所述第二線程服務刪除所述文件系統中的所述第一小文件。

8.如權利要求1所述的方法，其特征在于，所述第一指令用于指示對所述第一小文件進行刪除時，所述第二線程服務根據執行對所述第一指令對應的操作包括：

當用戶有刪除第一文件的權限時，所述第二線程服務刪除所述元數據集合中的所述第一小文件的元數據。

9.如權利要求8所述的方法，其特征在于，在所述第二線程服務刪除所述元數據集合中的所述第一小文件元數據后，所述第二線程服務將所述刪除過程中生成的增量元數據和deletelog加載到所述文件系統中，所述deletelog包括刪除信息，所述刪除信息用于指示刪除所述第一文件中所述第一小文件。