[發明專利]一種對數據進行容錯處理的方法及數據處理系統

有效

• 申請號: 201410169184.4
• 申請日: 2014-04-24
• 公開（公告）號: CN103942116B
• 公開（公告）日: 2017-02-01
• 發明（設計）人: 李璐
• 申請（專利權）人: 深圳市中博科創信息技術有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 深圳華奇信諾專利代理事務所(普通合伙)44328
• 代理人: 曲衛濤

1.一種對數據進行容錯處理的方法，其特征在于，方法包括：

獲取數據；

獲取對所述數據進行容錯處理所需要的處理資源；

根據所述處理資源選擇對所述數據進行容錯處理的容錯處理算法，并根據所述所選擇的容錯處理算法對所述數據進行容錯處理。

2.根據權利要求1所述的方法，其特征在于，

所述處理資源包括：空閑存儲空間比臨界值、當前空閑存儲空間比、可用網絡帶寬比臨界值和可用網絡帶寬比，其中，所述空閑存儲空間比為數據處理系統中空閑的存儲空間占總存儲空間中的比例，所述可用網絡帶寬比為未占用的網絡帶寬占總網絡帶寬的比例；

所述容錯處理算法包括糾刪碼算法；

所述根據所述處理資源選擇對所述數據進行容錯處理的容錯處理算法，并根據所述容錯處理算法對所述數據進行容錯處理的步驟包括：

判斷所述當前空閑存儲空間比是否小于所述空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比是否大于所述可用網絡帶寬比臨界值；

若所述當前空閑存儲空間比小于所述空閑存儲空間比臨界值，以及所述當前可用網絡帶寬比大于所述當前可用網絡帶寬比臨界值，則根據所述糾刪碼算法對所述數據進行容錯處理。

3.根據權利要求2所述的方法，其特征在于，

所述糾刪碼算法包括里所碼糾刪碼算法；

所述處理資源還包括：節點空閑時間臨界值、數據塊訪問頻率臨界值和數據切塊數量臨界值、當前節點空閑時間、當前數據塊訪問頻率和當前數據切塊數量，其中，所述節點空閑時間為數據處理系統中的節點處于空閑狀態的時間，所述數據塊訪問頻率為數據中的數據塊被訪問的頻率，所述數據切塊數量為數據劃分數據塊的數量；

所述根據糾刪碼算法對所述數據進行容錯處理步驟還包括：

判斷所述當前節點空閑時間是否大于節點空閑時間臨界值，以及，所述當前數據塊訪問頻率是否小于數據塊訪問頻率臨界值；

若所述當前節點空閑時間大于所述節點空閑時間臨界值，以及，所述當前數據塊訪問頻率小于數據塊訪問頻率臨界值，則判斷所述當前數據切塊數量是否小于數據切塊數量臨界值；

若所述當前數據切塊數量小于數據切塊數量臨界值，則根據所述里所碼糾刪碼算法對數據進行容錯處理。

4.根據權利要求3所述的方法，其特征在于，所述糾刪碼算法還包括低密度奇偶校驗碼糾刪碼算法；

所述方法還包括：

若所述當前數據切塊數量大于或者等于數據切塊數量臨界值，則根據所述低密度奇偶校驗碼算法對數據進行容錯處理。

5.根據權利要求2所述的方法，其特征在于，所述容錯處理算法包括副本算法；

所述方法還包括：

若所述當前空閑存儲空間比大于或者等于所述空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比小于或等于當前可用網絡帶寬比，則根據所述副本算法對數據進行容錯處理。

6.一種數據處理系統，其特征在于，包括：

第一獲取模塊，用于獲取數據；

第二獲取模塊，用于獲取對所述數據進行容錯處理所需要的處理資源；

選擇處理模塊，用于根據所述處理資源選擇對所述數據進行容錯處理的容錯處理算法，并根據所述所選擇的容錯處理算法對所述數據進行容錯處理。

7.根據權利要求6所述的裝置，其特征在于，

所述處理資源包括：空閑存儲空間比臨界值、當前空閑存儲空間比、可用網絡帶寬比臨界值和可用網絡帶寬比，其中，所述空閑存儲空間比為數據處理系統中空閑的存儲空間占總存儲空間中的比例，所述可用網絡帶寬比為未占用的網絡帶寬占總網絡帶寬的比例；

所述容錯處理算法包括糾刪碼算法；

所述選擇處理模塊包括：

第一判斷單元，用于判斷所述當前空閑存儲空間比是否小于所述空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比是否大于所述當前可用網絡帶寬比；

第一處理單元，用于在所述第一判斷單元判斷到當前空閑存儲空間比小于空閑存儲空間比臨界值，以及，所述當前可用網絡帶寬比大于所述當前可用網絡帶寬比臨界值時，根據所述糾刪碼算法對所述數據進行容錯處理。