[發明專利]一種糾刪碼集群中失效節點的重構方法

有效

• 申請號: 201310651547.3
• 申請日: 2013-12-03
• 公開（公告）號: CN103645861A
• 公開（公告）日: 2014-03-19
• 發明（設計）人: 黃建忠;曹強;謝長生;羅海兵;代爾衛
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L29/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

技術領域

本發明屬于計算機存儲技術領域，更具體地，涉及一種糾刪碼集群中失效節點的重構方法。?

背景技術

在大數據時代到來的今天，大規模的存儲集群為云平臺提供數據支撐。這樣龐大的存儲集群中，故障的發生越來越頻繁。為了數據的可靠性，存儲集群通常采用數據冗余技術。由于糾刪碼具有存儲效率高的優點，已逐漸被基于多副本的傳統存儲集群所采用，用于讀多次寫一次的歸檔應用中，從而形成了一種基于糾刪碼的存儲集群。根據存儲硬件、軟件等方面的差異性，網絡集群可以劃分為同構集群和異構集群。其中，集群異構性是普遍存在的，即使是在分布式的網絡環境下同構存儲集群中，每個節點表現出來的實時網絡帶寬，CPU處理能力等方面都普遍存在差異性。?

基于Reed-Solomon編碼的存儲集群，即，RS（N，K）碼存儲集群，如果出現了一個失效數據節點，為了重構出該失效節點，傳統的重構過程包括以下三步：（I）選取K個存活的存儲節點；（II）讀取這K個存儲節點上相同偏移和長度的數據，即存活數據塊，通過這K個存儲數據塊解碼出失效節點上所對應的失效數據塊；（III）重復步驟（II）直到恢復出該失效節點上的所有數據。如圖1所示，為傳統的糾刪碼集群中失效數據節點的重構過程，該過程是選取K個存活節點，讀取這K個節點上相同位置上的相同長度的數據塊，根據讀取的K個塊恢復失效節點上對應的數據塊，選取不同偏移地址，重復上述恢復過程直到恢復出失效節點上的所有數據。圖2給出該傳統的重構失效數據節點的流程圖。?

在上述的傳統的失效節點重構過程中，如果各個存活節點的負載比較均衡，并且節點網絡帶寬相近，則K個節點上的數據塊讀取時間是相近的。但是，當各個節點的負載和網絡帶寬相差很大，傳統的糾刪碼存儲集群會存在如下兩方面問題：?

一方面，在糾刪碼存儲集群重構過程中，重構速度取決于K個節點中帶寬最小的某個節點，這樣的話，最晚完成數據塊讀取的這個存活節點將成為整個重構過程的瓶頸。?

另一方面，在糾刪碼集群的重構過程中，某些節點的負載相對很輕，所能提供的數據讀帶寬就很高；反之，負載最重的存活節點就無法提供相近的讀帶寬，從而，重構過程將受限于該重負載的存儲節點。只有讀取到所有K個存活分塊，才可能進行下一個數據重構操作。?

發明內容

針對現有技術缺陷，本發明的目的在于提供一種糾刪碼存儲集群中具有負載感知特性的重構優化方法。本方法同時適用于同構和異構存儲集群。在各個存活節點的負載相對比較均衡時，該方法能獲得與傳統重構過程相同的重構性能；另外，它能夠解決傳統重構過程中由于各個節點負載相差較大而存在的重構性能瓶頸問題，即，存活節點對數據塊讀操作響應時間相差過大而導致的重構性能受限于‘最慢’存儲節點的問題。本質上講，傳統重構方法無法充分利用存儲集群資源。?

為實現上述目的，本發明提供了一種糾刪碼集群中失效節點的重構方法，該方法包括以下步驟：?

（1）當糾刪碼存儲集群中有節點失效時，根據糾刪碼存儲集群中節點的負載和網絡帶寬，初始化所有存活節點的權重值，并將所有存活節點的權重值保存在一個節點權重值數組中；?

（2）在節點權重值數組中選取權重值最大的K個存活節點，作為恢復該失效節點中對應偏移地址的數據塊的數據塊讀取分布，其中所述K為存?儲集群中數據節點的數目；?

（3）將節點權重值數組中上述K個存活節點的權重值分別減1；?

（4）判斷節點權重值數組中權值大于0的節點數量是否小于K，若是則轉到步驟（5），若否則轉到步驟（2）；?

（5）根據得到的所有數據塊讀取分布，從相應存活節點上讀取對應偏移地址的數據塊中的數據，解碼出失效節點上對應偏移地址的數據塊中的數據。?

優選地，所述步驟（1）中初始化所有存活節點的權重值具體為：給每個存活節點發送一個數據塊的讀請求，獲取每個節點的響應時間；對每個節點的響應時間取倒數；再乘以100得到各個存活節點的權重值。?

優選地，所述數據塊的大小為512字節。?

優選地，所述存儲集群采用RS(N，K)編碼方式，其中N表示集群中所有節點的數目，K表示編碼時以K個節點為單位，K也是數據節點的個數，校驗節點的個數為N-K。?

總體而言，通過本發明所構思的以上技術方案與現有技術相比，具有下列有益效果：?