[發明專利]一種分布式存儲系統中的數據處理方法及系統

有效

• 申請號: 201910379417.6
• 申請日: 2019-05-08
• 公開（公告）號: CN111913925B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 孫細妹;蘇學敏
• 申請（專利權）人: 廈門網宿有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/17
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 陳剛

本發明公開了一種分布式存儲系統中的數據處理方法及系統，所述方法包括：分別創建各個分片的元數據處理任務，其中，當前分片的元數據處理任務中至少包括所述當前分片的分片標識；在執行所述當前分片的元數據處理任務時，讀取所述當前分片的分片統計信息，并基于所述當前分片的分片標識，從操作日志集合中讀取屬于所述當前分片的操作日志；依次處理讀取的各個所述操作日志，并根據處理結果更新所述當前分片的分片統計信息。本申請提供的技術方案，能夠提高系統的穩定性和整體性能。

技術領域

本發明涉及互聯網技術領域，特別涉及一種分布式存儲系統中的數據處理方法及系統。

背景技術

在當前的分布式存儲系統中，存儲桶(bucket)的元數據可以存儲于bucket?index的數據結構中。在傳統的分布式存儲系統中，單個存儲桶的元數據可以全部存儲于同一個分片(shard)文件中。然而，隨著存儲桶中文件數據的不斷增加，分片文件的數據量也在不斷增加。過大體積的分片文件，會導致底層存儲性能消耗嚴重、一致性校驗過程耗時較長等一系列問題。

鑒于此，目前可以將同一個存儲桶劃分為多個分片，并在這多個分片中分別存儲一部分元數據。具體地，如圖1所示，現有的分布式存儲系統可以通過omap來實現不同的分片，omap可以存放元數據的文件，當用戶想要上傳某個目標文件時，分布式存儲系統可以選定一個文件存儲網關(RGW，Rados?GateWay)，并通過選定的文件存儲網關來確定，該目標文件的元數據應當被存放入哪個omap中。

現有的這種通過omap來實現分片的方式，在創建存儲桶的時候，就需要確定應當創建多少個omap對象，后續可以根據創建的omap對象來管理各個分片的數據。隨著存儲桶內數據的不斷變化，后期很可能會需要增加或者減少omap對象。然而在增加或者減少omap對象時，為了不影響正常的分片數據業務，需要將整個系統設置為離線狀態，這樣無疑會影響用戶的使用體驗。此外，一開始需要創建的omap對象的數量也很難確定：omap對象的數量過少，會影響文件并發上傳的性能；omap對象的數量過多，會影響存儲桶的列表性能。因此，現有的通過omap來實現分片的方式，會導致系統不夠穩定，而且系統的整體性能很難調整至最優狀態。

發明內容

本申請的目的在于提供一種分布式存儲系統中的數據處理方法及系統，能夠提高系統的穩定性和整體性能。

為實現上述目的，本申請一方面提供一種分布式存儲系統中的數據處理方法，所述分布式存儲系統中包含至少一個存儲桶，每個所述存儲桶被劃分為預設數量的分片，并且各個所述分片具備各自的分片統計信息；所述方法包括：分別創建各個所述分片的元數據處理任務，其中，當前分片的元數據處理任務中至少包括所述當前分片的分片標識；在執行所述當前分片的元數據處理任務時，讀取所述當前分片的分片統計信息，并基于所述當前分片的分片標識，從操作日志集合中讀取屬于所述當前分片的操作日志；依次處理讀取的各個所述操作日志，并根據處理結果更新所述當前分片的分片統計信息。

為實現上述目的，本申請另一方面還提供一種分布式存儲系統中的數據處理系統，所述分布式存儲系統中包含至少一個存儲桶，每個所述存儲桶被劃分為預設數量的分片，并且各個所述分片具備各自的分片統計信息；所述數據處理系統包括：任務創建單元，用于分別創建各個所述分片的元數據處理任務，其中，當前分片的元數據處理任務中至少包括所述當前分片的分片標識；任務執行單元，用于在執行所述當前分片的元數據處理任務時，讀取所述當前分片的分片統計信息，并基于所述當前分片的分片標識，從操作日志集合中讀取屬于所述當前分片的操作日志；日志處理單元，用于依次處理讀取的各個所述操作日志，并根據處理結果更新所述當前分片的分片統計信息。