[發明專利]基于高斯消元進行校驗恢復的方法、系統、設備及介質

有效

• 申請號: 202011510959.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112799875B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 吳睿振;王明明;王凜
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明;李紅蕭

本發明公開了一種基于高斯消元進行校驗恢復的方法、系統、設備和存儲介質，方法包括：響應于分布式存儲出現異常，確定出現異常的數據塊和校驗塊的數量以判斷是否存在校驗塊需要恢復；響應于存在校驗塊需要恢復，將正常的數據塊和校驗塊構建磁盤陣列，將正常的數據塊和校驗塊對應的編碼矩陣行構建第一基準矩陣，并通過高斯消元將第一基準矩陣轉換成逆矩陣；從正常的數據塊和校驗塊中隨機選擇預定數量的塊對應的編碼矩陣行，并將編碼矩陣行與異常的數據塊和校驗塊組成第二基準矩陣；以及將逆矩陣和第二基準矩陣進行相乘以得到第一矩陣，將第一矩陣與磁盤陣列相乘以得到輸出矩陣，并根據輸出矩陣得到異常的數據塊和校驗塊的原始數據。

技術領域

本發明涉及分布式存儲領域，更具體地，特別是指一種基于高斯消元進行校驗恢復的方法、系統、計算機設備及可讀介質。

背景技術

面對海量數據的存儲要求，分布式存儲以其成本低廉，可擴展性好等優勢逐漸取代了統一存儲的主導地位，在理論研究和實際應用方面得到了越來越多的關注。分布式存儲系統多以廉價的磁盤作為存儲節點，每個存儲節點的可靠性往往不會很高，另一方面，一個分布式存儲系統通常包含很多的節點，由于軟硬件故障，人為失誤等原因，系統常常發生節點失效的情況。為了提高分布式存儲系統的數據可靠性，保證數據收集節點能以很高的概率實現原始文件的重構，需要在存儲原始數據的基礎上，額外存儲一定數量的冗余，使得在出現部分節點失效的情況下，系統仍然可以正常運行，數據收集節點仍然可以對原始文件實現解碼恢復。同時，為了維持系統的可靠性，需要對失效的節點及時進行修復，因此，設計一個良好的節點修復機制十分重要。

糾刪碼(Erasure Code)屬于編碼理論中的一種前向糾錯技術，糾刪碼的種類眾多，在實際存儲系統中較常見的有應用在分布式環境下的RS碼 (Reed-Solomon Code)。RS碼與兩個參數k和r相關。給定兩個正整數k 和r，RS碼將k個數據塊編碼為r個額外的校驗塊。而r個校驗塊基于范德蒙矩陣或柯西矩陣進行編碼的方式就稱為利用范德蒙矩陣或柯西矩陣編碼的RS糾刪碼。糾刪碼的核心概念是構建一個可逆的編碼矩陣用以產生校驗數據，其逆矩陣可經過計算恢復原始數據。

常見的RS糾刪碼逆矩陣的計算采用的是高斯消元法，這是一種通用解法，適用于任何可逆矩陣的求逆運算。但缺點在于其沒有針對矩陣編碼的特性進行優化，因此雖然計算規律化，卻會引入大量冗余運算。并且，高斯消元的使用只能恢復數據塊。而在實際的分布式存儲環境中，存儲校驗塊的磁盤也有錯誤的可能，除了數據塊以外還需要對校驗塊進行恢復。而在海量數據的存儲應用需求下，對參與運算的磁盤數據的讀取需要耗費大量的時間和暫存單元。

發明內容

有鑒于此，本發明實施例的目的在于提出一種基于高斯消元進行校驗恢復的方法、系統、計算機設備及計算機可讀存儲介質，可以分別針對傳統的高斯消元糾刪恢復數據塊和同時恢復數據塊以及校驗塊進行不同操作。在傳統高斯消元下，恢復數據塊無需增加冗余操作，即可實現數據塊的恢復，在同時需要恢復數據塊以及校驗塊的情況下，通過增加一次矩陣的特殊調用，和乘法運算，即可輸出得到最終的特定輸出需求。

基于上述目的，本發明實施例的一方面提供了一種基于高斯消元進行校驗恢復的方法，包括如下步驟：響應于分布式存儲出現異常，確定出現異常的數據塊和校驗塊的數量以判斷是否存在校驗塊需要恢復；響應于存在校驗塊需要恢復，將正常的數據塊和校驗塊構建磁盤陣列，將正常的數據塊和校驗塊對應的編碼矩陣行構建第一基準矩陣，并通過高斯消元將所述第一基準矩陣轉換成逆矩陣；從正常的數據塊和校驗塊中隨機選擇預定數量的塊對應的編碼矩陣行，并將所述編碼矩陣行與異常的所述數據塊和校驗塊組成第二基準矩陣；以及將所述逆矩陣和所述第二基準矩陣進行相乘以得到第一矩陣，將所述第一矩陣與所述磁盤陣列相乘以得到輸出矩陣，并根據所述輸出矩陣得到異常的數據塊和校驗塊的原始數據。