[發明專利]數據巡檢方法、裝置和分布式存儲系統

在審

• 申請號: 201811372562.3
• 申請日: 2018-11-16
• 公開（公告）號: CN109614037A
• 公開（公告）日: 2019-04-12
• 發明（設計）人: 劉浩
• 申請（專利權）人: 新華三技術有限公司成都分公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 逯恒

本公開提供了一種數據巡檢方法、裝置和分布式存儲系統，屬于數據存儲技術領域。其中，數據巡檢方法應用于分布式存儲系統中的存儲節點，所述存儲節點基于糾刪碼策略存儲數據。本公開提供的數據巡檢方法、裝置和分布式存儲系統，當存儲節點接收到管理節點的巡檢指令時，獲取該存儲節點存儲的主數據分片對應的各個從存儲節點，向各個從存儲節點獲取從數據分片的校驗結果。該存儲節點只需校驗存儲于本地的主數據分片，各個從存儲節點只需向主存儲節點發送校驗結果，而無需將從數據分片發送至主存儲節點，因此極大地降低了存儲節點之間的數據傳輸量，減少了存儲節點之間的網絡消耗，有利于提升分布式存儲系統的整體性能和保障用戶業務的順暢執行。

技術領域

本公開涉及數據存儲技術領域，尤其是涉及一種數據巡檢方法、裝置和分布式存儲系統。

背景技術

隨著數字化的發展，企業對存儲系統的容量要求越來越大。分布式存儲系統中的副本冗余策略，雖然可以保證數據的可靠性，但是存儲空間的耗費過高，限制了分布式存儲系統的容量，因此很多企業采用了糾刪碼策略。

糾刪碼策略中，利用糾刪碼算法將待存儲數據進行編碼得到校驗數據，分割待存儲數據和校驗數據，得到多份數據分片和多份校驗分片，將其中一份數據分片作為主數據分片，其余數據分片和校驗分片作為從數據分片，分別存儲到不同的存儲節點上。如圖1所示的分布式存儲系統中糾刪碼策略下的數據分布示意圖，其中，在糾刪碼數據池中，D1-D4為數據分片，X和Y為校驗分片，他們分別存儲在六個不同的存儲節點。

為了及時發現存儲節點中的異常數據，分布式存儲系統一般定時進行數據巡檢。現有的數據巡檢方法中，需要所有從存儲節點將從數據分片的全部數據發送至主存儲節點，然后主存儲節點進行校驗。因此需要大量的數據讀取和數據傳輸，增加了網絡節點之間的網絡消耗，嚴重影響分布式存儲系統的整體性能，且可能導致用戶業務受到影響甚至引起用戶業務中斷。

發明內容

有鑒于此，本公開實施例的目的在于提供一種數據巡檢方法、裝置和分布式存儲系統，可以節約存儲節點之間的網絡消耗，提高分布式存儲系統的整體性能。

為了實現上述目的，本公開實施例采用的技術方案如下：

第一方面，本公開實施例提供了一種數據巡檢方法，應用于分布式存儲系統中的存儲節點，所述存儲節點基于糾刪碼策略存儲數據，所述方法包括：當接收到管理節點的巡檢指令時，獲取所述存儲節點存儲的主數據分片對應的各個從存儲節點；向各個所述從存儲節點獲取所述主數據分片對應的從數據分片的校驗結果；校驗所述主數據分片；根據所述主數據分片的校驗結果以及各個所述從數據分片的校驗結果，向所述管理節點回復巡檢結果。

第二方面，本公開提供了一種數據巡檢方法，應用于分布式存儲系統中的存儲節點，所述存儲節點基于糾刪碼策略存儲數據，所述方法包括：當接收到主存儲節點發送的巡檢請求時，獲取所述巡檢請求對應的從數據分片；校驗所述從數據分片；向所述主存儲節點回復校驗結果。

第三方面，本公開實施例提供了一種數據巡檢裝置，應用于分布式存儲系統中的存儲節點，所述存儲節點基于糾刪碼策略存儲數據，所述裝置包括：從數據分片校驗模塊，用于當接收到管理節點的巡檢指令時，獲取所述存儲節點存儲的主數據分片對應的各個從存儲節點；向各個所述從存儲節點獲取所述主數據分片對應的從數據分片的校驗結果；主數據分片校驗模塊，用于校驗所述主數據分片；巡檢結果反饋模塊，用于根據所述主數據分片的校驗結果以及各個所述從數據分片的校驗結果，向所述管理節點回復巡檢結果。

第四方面，本公開實施例提供了一種數據巡檢裝置，應用于分布式存儲系統中的存儲節點，所述存儲節點基于糾刪碼策略存儲數據，所述裝置包括：數據獲取模塊，用于當接收到主存儲節點發送的巡檢請求時，獲取所述巡檢請求對應的從數據分片；數據校驗模塊，用于校驗所述從數據分片；校驗結果回復模塊，用于向所述主存儲節點回復校驗結果。