[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201811604928.5
• 申請日: 2018-12-26
• 公開（公告）號: CN111367712A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 蔣中斌
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F21/62
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 吳瑜

本申請公開了一種數據處理方法及裝置，涉及存儲技術領域，解決了在重構多個故障節點的分片數據的情況下，導致集群內部網絡帶寬消耗，故障恢復時間較長的問題。具體方案為：第一存儲節點接收第二存儲節點發送的第一數據恢復請求，并根據第一分條的標識和第一分片數據的標識從緩存的第一分條的重構數據中獲取第一分片數據，向第二存儲節點發送第一數據恢復響應。其中，第一數據恢復請求包括第一分條的標識和第一分片數據的標識，第一分片數據為故障的第二存儲節點存儲的第一分條包括的分片數據；第一分條的重構數據包括故障的存儲節點存儲的第一分條包括的分片數據；第一數據恢復響應包括第一分片數據。本申請實施例用于恢復分片數據的過程。

技術領域

本申請實施例涉及存儲技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

在分布式存儲系統中，為了保證數據的安全性，可以采用數據冗余模式來存儲數據。常見的數據冗余模式包括多副本和糾刪碼(erasure coding，EC)。EC冗余模式是指將原始數據等分成N個數據分片，根據EC算法和N個數據分片，生成M個校驗分片，并將N+M個分片數據分別存儲到集群中的N+M個存儲節點上。當N+M個存儲節點中出現多個存儲節點故障，數據重構節點需要針對每個故障的存儲節點執行EC反編碼，重構出剩余的M個分片數據，將各分片數據反饋給對應故障的存儲節點。因此，在重構多個故障的存儲節點的分片數據的情況下，導致集群內部網絡帶寬消耗，故障恢復時間較長。

發明內容

本申請實施例提供一種數據處理方法及裝置，解決了在重構多個故障節點的分片數據的情況下，導致集群內部網絡帶寬消耗，故障恢復時間較長的問題。

為達到上述目的，本申請實施例采用如下技術方案：

第一方面，本申請實施例提供了一種數據處理方法，該方法可應用于分布式存儲系統中的第一存儲節點，或者該方法可應用于可以支持第一存儲節點實現該方法的通信裝置，例如該通信裝置包括芯片系統，分布式存儲系統包括K個存儲節點，K個存儲節點用于存儲R個分條對應的數據，R個分條中每個分條包括K個分片數據，K個分片數據中每個分片數據存儲到K個存儲節點中的一個存儲節點上，其中，K為大于或等于3的整數，R為大于或等于1的整數，所述方法包括：第一存儲節點接收到第二存儲節點發送的第一數據恢復請求后，根據第一分條的標識和第一分片數據的標識從緩存的第一分條的重構數據中獲取第一分片數據，并向第二存儲節點發送第一數據恢復響應，第一數據恢復響應包括第一分片數據。其中，第一數據恢復請求包括第一分條的標識和第一分片數據的標識，第一存儲節點和第二存儲節點為K個存儲節點中任意兩個存儲節點，第一分條為R個分條中任意一個分條，第一分片數據為故障的第二存儲節點存儲的第一分條包括的分片數據；第一分條的重構數據包括K個存儲節點中故障的存儲節點存儲的第一分條包括的分片數據。

本申請實施例提供的數據處理方法，不需要重復的讀取其他分片數據以及重復地進行EC反編碼計算，可以從緩存中獲取需要恢復的分片數據，從而，有效地降低了集群內部網絡帶寬消耗，減少了磁盤讀寫和CPU占用，縮短故障恢復時間。

結合第一方面，在一種可能的實現方式中，第一存儲節點根據第一分條的標識和第一分片數據的標識從緩存的第一分條的重構數據中獲取第一分片數據，包括：第一存儲節點根據第一分條的標識從緩存的至少一個分條的重構數據中確定第一分條的重構數據；第一存儲節點根據第一分片數據的標識從第一分條的重構數據中確定第一分片數據。