[發明專利]一種分布式塊存儲系統中數據恢復的方法和裝置

在審

• 申請號: 202010319993.4
• 申請日: 2020-04-22
• 公開（公告）號: CN111581020A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 童文飛;康亮;蘇玉軍;葉磊;孫洪標
• 申請（專利權）人: 上海天璣科技股份有限公司;上海天璣數據技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;H04L29/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種分布式塊存儲系統中數據恢復的方法和裝置，所述分布式塊存儲系統包括塊存儲訪問客戶端、存儲服務集群和元數據服務集群，所述存儲服務集群包括多個存儲服務節點，所述方法包括以下步驟：1)實時監聽集群狀態，在監聽到集群異常時執行步驟2)；2)判斷是否延遲重構，若是，則延遲設定時間后執行步驟3)，若否，則直接執行步驟3)；3)構建待恢復數據對象列表；4)根據所述待恢復數據對象列表進行數據恢復；各存儲服務節點并行執行上述數據恢復的步驟。與現有技術相比，本發明具有可提高數據恢復速度，并降低數據恢復對前端應用性能影響等優點。

技術領域

本發明涉及計算機分布式塊存儲軟件系統領域，尤其是涉及一種分布式塊存儲系統中數據恢復的方法和裝置。

背景技術

分布式塊存儲系統中，一般均采用副本機制及DHT哈希計算數據存儲位置。集群狀態改變時，比如節點離線/重新上線、磁盤故障、擴容，部分存儲對象的部分數據副本存儲位置發生改變，數據恢復模塊一般采用主副本Push方式恢復其他副本或者Pull方式從其他可用副本執行恢復，當數據對象副本未恢復時，如果發生前端應用數據訪問，一般均需要等待數據對象恢復完后再執行寫入操作，這對前端應用數據訪問的性能影響是巨大的，可能導致前端應用掛起，服務不可用。前端應用可能只寫入4K，而數據對象恢復粒度一般都至少為1M及以上，寫放大問題嚴重，導致在集群異常時寫性能可能降低到集群正常時的十分之一水平。同時，存儲節點短暫離線后重新上線沒有記錄增量寫數據，每次執行數據恢復的數據量是巨大的，很多未寫過的數據均需要重新執行恢復。

現有公開技術中，為了減少恢復數據量，在集群異常甚至于集群正常場景均通過Journal Log記錄增量寫數據，等待Journal Log持久化到存儲介質后再執行寫入操作，這對前端應用數據訪問的性能影響同樣是巨大的。為了平衡數據恢復及對前端應用數據訪問的，一般通過設置恢復QOS，限制數據恢復的速率降低對前端應用數據訪問的影響，但這種設置一般均為靜態的，完全可以通過動態的方式提升恢復效率。

上述諸多問題在性能敏感性應用場景例如數據庫，是完全不可接受的，從而限制了分布式塊存儲的應用場景，只能應用在邊緣業務場景。

發明內容

本發明的目的在于克服上述現有技術存在的存儲集群進行數據恢復過程中的性能問題而提供一種分布式塊存儲系統中數據恢復的方法和裝置。

本發明的目的可以通過以下技術方案來實現：

一種分布式塊存儲系統中數據恢復的方法，所述分布式塊存儲系統包括塊存儲訪問客戶端、存儲服務集群和元數據服務集群，所述存儲服務集群包括多個存儲服務節點，所述方法包括以下步驟：

1)實時監聽集群狀態，在監聽到集群異常時執行步驟2)；

2)判斷是否延遲重構，若是，則延遲設定時間后執行步驟3)，若否，則直接執行步驟3)；

3)構建待恢復數據對象列表；

4)根據所述待恢復數據對象列表進行數據恢復；

各存儲服務節點并行執行上述數據恢復的步驟。

進一步地，該方法還包括：

動態監測前端應用的數據訪問壓力，根據所述數據訪問壓力調節各存儲服務節點的恢復并發度。

進一步地，基于設定的最低并發度調節所述各存儲服務節點的恢復并發度。

進一步地，在發生集群異常時，記錄寫入請求的數據對象的對象ID，加入Dirty 數據對象列表，以所述Dirty數據對象列表作為所述待恢復數據對象列表。

進一步地，所述待恢復數據對象列表還包括設定時間內的數據對象列表。

進一步地，對于計劃內的集群狀態變更，根據配置增加臨時副本，將所述臨時加入到對應節點的待恢復數據對象列表。