[發明專利]一種分布式存儲系統中的數據處理方法及系統

有效

• 申請號: 201910379417.6
• 申請日: 2019-05-08
• 公開（公告）號: CN111913925B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 孫細妹;蘇學敏
• 申請（專利權）人: 廈門網宿有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/17
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 陳剛

1.一種分布式存儲系統中的數據處理方法，所述分布式存儲系統中包含至少一個存儲桶，其特征在于，每個所述存儲桶被劃分為預設數量的分片，并且各個所述分片具備各自的分片統計信息；所述方法包括：

分別創建各個所述分片的元數據處理任務，其中，當前分片的元數據處理任務中至少包括所述當前分片的分片標識；

在執行所述當前分片的元數據處理任務時，讀取所述當前分片的分片統計信息，并基于所述當前分片的分片標識，從操作日志集合中讀取屬于所述當前分片的操作日志；

依次處理讀取的各個所述操作日志，并根據處理結果更新所述當前分片的分片統計信息；

所述根據處理結果更新所述當前分片的分片統計信息包括：

根據讀取的當前操作日志的類型，在所述當前操作日志中識別對應文件的指定參數統計值；

基于識別出的所述指定參數統計值，更新所述當前分片的分片統計信息中記錄的處于所述當前分片內的各個文件的指定參數統計總值。

2.根據權利要求1所述的方法，其特征在于，所述操作日志集合中的操作日志按照以下方式生成：

接收用戶客戶端發來的指向目標文件的文件處理請求，并計算所述目標文件的哈希值；

生成所述文件處理請求對應的操作日志，并將計算得到的所述哈希值寫入所述操作日志的指定字段中。

3.根據權利要求1或2所述的方法，其特征在于，基于所述當前分片的分片標識，從操作日志集合中讀取屬于所述當前分片的操作日志包括：

遍歷所述操作日志集合中的每條操作日志，并針對所述當前操作日志，識別所述當前操作日志的指定字段中填寫的哈希值；

將識別的所述哈希值對所述預設數量進行取模運算，若取模運算的結果與所述當前分片的分片標識相匹配，將所述當前操作日志作為屬于所述當前分片的操作日志。

4.根據權利要求1所述的方法，其特征在于，讀取所述當前分片的分片統計信息包括：

在分片統計信息集合中查詢所述當前分片的分片標識指向的分片統計信息，并將查詢得到的所述分片統計信息作為所述當前分片的分片統計信息。

5.根據權利要求1所述的方法，其特征在于，根據處理結果更新所述當前分片的分片統計信息包括：

若讀取的所述當前操作日志為上傳新文件的上傳操作日志，在所述當前操作日志中識別所述新文件的指定參數統計值，并將識別出的所述指定參數統計值累加至所述當前分片的分片統計信息中；

若讀取的所述當前操作日志為修改已存儲文件的修改操作日志，在所述當前操作日志中識別所述已存儲文件修改后的指定參數統計值，并在所述當前分片的分片統計信息中，將所述已存儲文件當前的指定參數統計值修改為識別出的所述修改后的指定參數統計值；

若讀取的所述當前操作日志為刪除已存儲文件的刪除操作日志，在所述當前操作日志中識別待刪除的所述已存儲文件的指定參數統計值，并在所述當前分片的分片統計信息中，將識別出的所述指定參數統計值扣除。

6.根據權利要求1或5所述的方法，其特征在于，根據處理結果更新所述當前分片的分片統計信息還包括：

若讀取的所述當前操作日志為上傳新文件的上傳操作日志，在所述當前分片的分片統計信息中增加文件個數；

若讀取的所述當前操作日志為修改已存儲文件的修改操作日志，保持所述當前分片的分片統計信息中的文件個數不變；

若讀取的所述當前操作日志為刪除已存儲文件的刪除操作日志，在所述當前分片的分片統計信息中減少文件個數。

7.根據權利要求1所述的方法，其特征在于，依次處理讀取的各個所述操作日志包括：

針對讀取的所述當前操作日志，從所述當前操作日志中提取待處理的目標文件的元數據信息，并將提取的所述元數據信息寫入所述存儲桶的元數據信息集合中。

8.根據權利要求1所述的方法，其特征在于，各個所述分片的元數據處理任務通過多個工作線程執行；其中，同一時刻，各個分片的元數據處理任務由自身唯一的工作線程執行。