[發明專利]基于糾刪碼分布式存儲的節點異常重連復用方法及系統

有效

• 申請號: 201911075560.2
• 申請日: 2019-11-06
• 公開（公告）號: CN110865903B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 丁瑞祥
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F16/27
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 尹麗云

本發明提供一種基于糾刪碼分布式存儲的節點異常重連復用方法及系統，方法包括：獲取數據寫入狀態，根據所述數據寫入狀態識別異常節點；對識別結果中的異常節點進行狀態監控；當檢測到異常節點恢復正常時，更新節點狀態，并復用所述異常節點的數據寫入流程，發送異常期間的異常數據段的位置信息至對應節點并保存；調取其他節點上的相應數據對異常節點進行局部數據還原，將還原出的數據覆蓋寫入到異常區域；本發明通過節點設備復用，使局部數據恢復，在節點短暫異常后恢復正常的情況下，能夠繼續向該節點寫入數據，恢復集群k+m的糾刪特性，并以少量的數據交互，消除節點異常帶來的影響，減少后續數據恢復的壓力以及減低存儲空間浪費的風險。

技術領域

本發明涉及計算機及其應用領域，尤其涉及一種基于糾刪碼分布式存儲的節點異常重連復用方法及系統。

背景技術

隨著市場對數據規模需求的不斷提高，存儲技術也隨之革新。在大量數據存儲領域，相對于傳統的SAN(Storage Attached Network)和NAS(Network-Attached Storage)，分布式存儲有著性能高，成本低和擴展性強的優勢。糾刪碼技術是將完整的原始數據切割成k個數據條帶，經過糾刪算法后得到m個檢驗條帶，在丟失條帶不超過m的情況下可以恢復出原始數據。將糾刪碼容錯技術代替多副本技術運用在分布式存儲中，在保障了數據安全的前提下，還提高了存儲空間利用率，進一步降低了成本。糾刪碼運用在分布式存儲中，將業務數據分成k份數據條帶，在糾刪計算得到m份校驗條帶，將這k+m份數據按一定順序存儲在集群k+m個不同的節點設備上，并將這k+m個節點設備上的k+m文件視為一組，以此做到在節點設備異常數量不超過m的情況下(后續將異常節點設備為m的情況稱之為糾刪極限)，可以恢復出原始數據。

但是，在一組文件的寫入期間，部分節點設備異常后，即便這些節點設備能在短期內恢復，相應的文件往往不會復用，則這組文件后續寫入過程中實際存儲條帶小于k+m，期間更容易超出糾刪極限的情況，在超出糾刪極限后該組文件將不可寫入，需申請新的文件組，造成空間浪費。在異常節點設備修復重新上線后，需要對異常的文件數據塊進行大量的修復操作，短期內會在節點間產生大量數據交互與計算。

發明內容

鑒于以上所述現有技術的缺點，本發明提供一種基于糾刪碼分布式存儲的節點異常重連復用方法及系統，以解決上述技術問題。

本發明提供的基于糾刪碼分布式存儲的節點異常重連復用方法，包括：

獲取數據寫入狀態，根據所述數據寫入狀態識別異常節點；

對識別結果中的異常節點進行狀態監控；

當檢測到異常節點恢復正常時，更新節點狀態，并復用所述異常節點的數據寫入流程，發送異常期間的異常數據段的位置信息至對應節點并保存；

調取其他節點上的相應數據對異常節點進行局部數據還原，將還原出的數據覆蓋寫入到異常區域，完成數據恢復。

可選的，根據預先設置的映射關系表對異常節點進行監控，所述映射關系表根據節點設備狀態信息和節點身份信息的映射關系建立。

可選的，在獲取數據寫入狀態之前還包括輸入業務數據，并對所述業務數據進行糾刪處理后，進行分布式存儲。

可選的，所述復用所述異常節點的數據寫入流程具體包括，當檢測到異常節點恢復正常時，更新節點狀態，在寫入流程中，根據更新后的節點狀態恢復對該節點的寫入，重新打開對應節點中的文件，偏移(seek)到文件當前最新寫入的位置，對異常期間的數據填零，并將異常期間的異常數據段的位置信息發送到節點保存，作為后續數據恢復的依據。

可選的，記錄異常期間數據位置，以節點被標識為異常節點的寫入偏移為起始位置，以節點重新上線恢復寫入后的當前寫入偏移為終止位置，根據所述異常期間數據位置對文件進行局部恢復。