[發明專利]一種對數據進行容錯處理的方法及數據處理系統

有效

• 申請號: 201410169184.4
• 申請日: 2014-04-24
• 公開（公告）號: CN103942116B
• 公開（公告）日: 2017-02-01
• 發明（設計）人: 李璐
• 申請（專利權）人: 深圳市中博科創信息技術有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 深圳華奇信諾專利代理事務所(普通合伙)44328
• 代理人: 曲衛濤

技術領域

本發明涉及數據處理技術領域，特別是涉及一種對數據進行容錯處理的方法及數據處理系統。

背景技術

隨著計算機技術和網絡技術的發展，數據正以爆炸式的速度增長，海量數據對存儲系統提出了巨大的挑戰。為了避免因硬件故障、軟件故障或者人為操作失誤，造成存儲系統上的數據損壞或者丟失，而造成數據無法恢復，通常對存儲系統上的數據進行容錯處理，以提高數據抗風險的能力。

現有技術中，對數據進行容錯處理的方法包括如下幾種方式：

1.副本算法，即對原始數據的完全拷貝。通過為系統中的數據增加各種不同形式的副本，保存冗余的數據，可以有效地提高數據的可用性，避免由于網絡斷開或機器故障等因素而引起的數據丟失。一般情況下，副本數量越多，數據的可靠性就越高，但是相同的，會消耗大量的系統存儲資源，并增加數據管理的復雜度。

2.糾刪碼算法，作為一種前向錯誤糾正技術，主要應用在網絡傳輸中避免包的丟失，存儲系統利用它來提高存儲可靠性。將要存儲在系統中的數據分割成k塊，然后對其編碼得到的n個數據分片并進行分布存儲，則只需存在k’個可用的數據分片，就可以重構出原始數據，糾刪碼算法的空間復雜度和數據冗余度較低，但是需要大量計算。

綜上所述，可知，糾刪碼算法和副本算法各有各的優點和缺點，根據糾刪碼算法進行容錯處理后的數據的可靠性更高，但計算復雜，根據副本算法對數據進行容錯處理，計算簡單，但需要較多存儲空間。現有技術的數據處理系統中通常固定使用一種數據容錯處理算法，而固定地使用一種數據容錯處理算法往往造成無法充份地、平衡地使用系統資源，系統資源使用率較低。

發明內容

本發明主要解決的技術問題是提供一種對數據進行容錯處理的方法及裝置，能夠根據數據處理系統的資源使用情況，選擇容錯處理算法，平衡地使用系統資源，提高數據處理系統資源使用率。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種對數據進行容錯處理的方法，包括獲取數據；獲取對所述數據進行容錯處理所需要的處理資源；根據所述處理資源選擇對所述數據進行容錯處理的容錯處理算法，并根據所述所選擇的容錯處理算法對所述數據進行容錯處理。

其中，所述處理資源包括：空閑存儲空間比臨界值、當前空閑存儲空間比、可用網絡帶寬比臨界值和可用網絡帶寬比，其中，所述空閑存儲空間比為數據處理系統中空閑的存儲空間占總存儲空間中的比例，所述可用網絡帶寬比為未占用的網絡帶寬占總網絡帶寬的比例；所述容錯處理算法包括糾刪碼算法；所述根據所述處理資源選擇對所述數據進行容錯處理的容錯處理算法，并根據所述容錯處理算法對所述數據進行容錯處理的步驟包括：判斷所述當前空閑存儲空間比是否小于所述空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比是否大于所述可用網絡帶寬比臨界值；若所述當前空閑存儲空間比小于所述空閑存儲空間比臨界值，以及所述當前可用網絡帶寬比大于所述當前可用網絡帶寬比臨界值，則根據所述糾刪碼算法對所述數據進行容錯處理。

其中，所述糾刪碼算法包括里所碼糾刪碼算法；所述處理資源還包括：節點空閑時間臨界值、數據塊訪問頻率臨界值和數據切塊數量臨界值、當前節點空閑時間、當前數據塊訪問頻率和當前數據切塊數量，其中，所述節點空閑時間為數據處理系統中的節點處于空閑狀態的時間，所述數據塊訪問頻率為數據中的數據塊被訪問的頻率，所述數據切塊數量為數據劃分數據塊的數量；所述根據糾刪碼算法對所述數據進行容錯處理步驟還包括：判斷所述當前節點空閑時間是否大于節點空閑時間臨界值，以及，所述當前數據塊訪問頻率是否小于數據塊訪問頻率臨界值；若所述當前節點空閑時間大于所述節點空閑時間臨界值，以及，所述當前數據塊訪問頻率小于數據塊訪問頻率臨界值，則判斷所述當前數據切塊數量是否小于數據切塊數量臨界值；若所述當前數據切塊數量小于數據切塊數量臨界值，則根據所述里所碼糾刪碼算法對數據進行容錯處理。

其中，所述糾刪碼算法還包括低密度奇偶校驗碼糾刪碼算法；所述方法還包括：若所述當前數據切塊數量大于或者等于數據切塊數量臨界值，則根據所述低密度奇偶校驗碼算法對數據進行容錯處理。

其中，所述容錯處理算法包括副本算法；所述方法還包括：若所述當前空閑存儲空間比大于或者等于所述空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比小于或等于當前可用網絡帶寬比，則根據所述副本算法對數據進行容錯處理。