[發(fā)明專利]一種分布式文件系統(tǒng)控制數(shù)據(jù)恢復速度的方法及裝置

有效

• 申請?zhí)枺?/td>: 202011181614.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112306750B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設計）人: 劉鑫;孟祥瑞
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/182;G06F16/172
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

本發(fā)明公開了一種分布式文件系統(tǒng)控制數(shù)據(jù)恢復速度的方法，使用Peering過程中發(fā)現(xiàn)的缺失數(shù)據(jù)的OSD來判斷磁盤是否需要在數(shù)據(jù)恢復中寫入數(shù)據(jù)。PG將缺失數(shù)據(jù)的OSD上報到Mon，Mon統(tǒng)計當前正在數(shù)據(jù)恢復的所有PG上報的OSD，來得到正在寫入的磁盤數(shù)量。得到寫入的磁盤數(shù)量后，計算數(shù)據(jù)恢復速度上限，和現(xiàn)有方案計算出的數(shù)據(jù)恢復速度上限相比較，取較小的值作為最終結果。通過上述方式，本發(fā)明能夠在數(shù)據(jù)恢復過程中根據(jù)寫入數(shù)據(jù)的磁盤數(shù)量動態(tài)調整數(shù)據(jù)恢復速度上限，減小磁盤寫入壓力。

技術領域

本發(fā)明涉及分布式存儲系統(tǒng)領域，特別是涉及一種分布式文件系統(tǒng)控制數(shù)據(jù)恢復速度的方法及裝置。

背景技術

分布式文件系統(tǒng)以分布式存儲系統(tǒng)為基礎，將文件轉化為存儲對象隨機存儲在集群底層的磁盤中。每個磁盤通過一個守護進程OSD來管理，OSD實現(xiàn)了數(shù)據(jù)讀寫、復制、平衡、恢復等功能。系統(tǒng)通過多副本或者糾刪碼產生的數(shù)據(jù)冗余來實現(xiàn)數(shù)據(jù)保護機制。當一個磁盤發(fā)生故障時，通過其他磁盤上的冗余數(shù)據(jù)將故障磁盤上的數(shù)據(jù)恢復到滿足故障域要求的非故障磁盤上。這是數(shù)據(jù)恢復(或稱數(shù)據(jù)重構，recovery/backfill)的一個基本場景，Recovery是數(shù)據(jù)恢復的意思，在某些語境下專指通過日志來恢復不一致對象；Backfill是指PG通過掃描和全量拷貝恢復缺失對象。除了磁盤故障，其他類型的集群拓撲結構變化，如集群擴容/縮容，也要通過對象的靈活遷移實現(xiàn)數(shù)據(jù)的平衡分布。

為了減少數(shù)據(jù)恢復對前端性能的影響，現(xiàn)有方案實現(xiàn)了對數(shù)據(jù)恢復速度的控制功能。該方案通過限定一個恢復周期可恢復的最大數(shù)據(jù)量和最大對象數(shù)來限制恢復速度。具體方法是根據(jù)集群規(guī)模計算出數(shù)據(jù)恢復速度的上限，即最大帶寬，再根據(jù)最大帶寬計算每個OSD的恢復速度。計算數(shù)據(jù)恢復速度上限的方法考慮到了集群規(guī)模等因素，使恢復速度上限和參與數(shù)據(jù)恢復的主OSD個數(shù)成正比，這樣，集群規(guī)模越大，恢復速度越大。

然而，對于換盤或者擴容等場景，只有少量磁盤參與數(shù)據(jù)恢復的數(shù)據(jù)寫入。在這些場景下，雖然參與數(shù)據(jù)恢復的OSD很多，但是只有新增磁盤在寫入數(shù)據(jù)，這樣計算出的數(shù)據(jù)恢復速度較大，使得寫入磁盤壓力過大。

發(fā)明內容

本發(fā)明主要解決的技術問題是提供一種分布式文件系統(tǒng)控制數(shù)據(jù)恢復速度的方法，按照數(shù)據(jù)恢復過程中寫入的OSD數(shù)量來調整數(shù)據(jù)恢復速度上限，解決當前分布式文件系統(tǒng)在換盤等寫入OSD很少的場景下磁盤壓力過大影響前端業(yè)務的問題。

為解決上述技術問題，本發(fā)明采用的一個技術方案是：提供一種分布式文件系統(tǒng)控制數(shù)據(jù)恢復速度的方法，包括：

S100，遍歷放置組，查找并記錄每個放置組內缺失數(shù)據(jù)的對象存儲守護進程；

S200，統(tǒng)計當前正在數(shù)據(jù)恢復的放置組所要寫入數(shù)據(jù)的對象存儲守護進程個數(shù)；

S300，計算數(shù)據(jù)恢復速度上限；

S400，計算對象存儲設備當前單位時間內可以恢復的基礎數(shù)據(jù)量，當對象存儲設備在一個恢復周期內恢復的數(shù)據(jù)量大于基礎數(shù)據(jù)量，則改對象存儲設備的所有放置組都不再新增數(shù)據(jù)恢復對象，直至下一個周期。

進一步，所述步驟S100具體包括以下步驟：

S101，在放置組根據(jù)日志檢查各副本版本是否一致的過程中，查找缺失數(shù)據(jù)的對象存儲守護進程；

S102，通過查找到的缺失數(shù)據(jù)的對象存儲守護進程判斷磁盤是否需要在數(shù)據(jù)恢復中寫入數(shù)據(jù)；

S103，放置組將缺失數(shù)據(jù)的對象存儲守護進程上報到監(jiān)視器守護進程。

進一步，所述步驟S200具體包括以下步驟：所述監(jiān)視器守護進程統(tǒng)計當前正在數(shù)據(jù)恢復的所有放置組上報的對象存儲守護進程，獲得正在寫入的磁盤數(shù)量。

進一步，所述步驟S300具體包括以下步驟：