[發明專利]HDFS中數據的存儲方法、讀取方法及存儲系統、讀取系統

在審

• 申請號: 201210550220.2
• 申請日: 2012-12-18
• 公開（公告）號: CN103064902A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 莊進發;章正道
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京恒都律師事務所 11395
• 代理人: 安筱瓊

1.一種HDFS中數據的存儲方法，其特征在于，包括：

通過數據冷熱判別機制獲取HDFS中的文件數據塊的冷熱值，并將所述冷熱值與設定的判別閾值進行比較；

若所述冷熱值不大于所述判別閾值，則所述文件數據塊為冷數據；

將所述冷數據的文件數據塊分為n塊，并計算出所述n個數據塊對應的m個校驗編碼塊，其中，m，n為正整數，且m＜n；

將所述n個數據塊和m個校驗編碼塊進行存儲。

2.如權利要求1所述的方法，其特征在于，所述冷熱判別機制包括通過檢測機制獲得的各文件數據塊的冷熱判別參數值建立數據冷熱鏈表，根據所述參數值計算出所述冷熱鏈表中各文件數據塊的冷熱值。

3.如權利要求1所述的方法，其特征在于，所述冷熱判別機制包括通過讀取各文件數據塊中的包含數據冷熱判別參數的配置文件，以獲取各文件數據塊的冷熱判別參數值，根據所述參數值計算出所述各文件數據塊的冷熱值。

4.如權利要求1所述的方法，其特征在于，所述校驗編碼塊為RS校驗編碼塊。

5.如權利要求4所述的方法，其特征在于，所述RS校驗編碼塊是通過范德門矩陣計算得到的。

6.如權利要求1至5中任一項所述的方法，其特征在于，所述冷數據的文件備份塊為一個。

7.一種HDFS中數據的讀取方法，其特征在于，包括：

通過數據冷熱判別機制獲取HDFS中的文件數據塊的冷熱值，并將所述冷熱值與設定的判別閾值進行比較；

若所述冷熱值不大于所述判別閾值，則所述文件數據塊為冷數據；

對所述冷數據中的n個文件數據塊進行讀取；

計算出所述n個數據塊對應的m個校驗編碼塊，其中，m，n為正整數，且m＜n；

若讀取失敗，則根據校驗編碼原則選取m’個文件數據塊進行編碼恢復；其中，m’?[m,n]。

8.如權利要求7所述的方法，其特征在于，所述校驗編碼塊為RS校驗編碼塊。

9.如權利要求8所述的方法，其特征在于，所述RS校驗編碼塊是通過范德門矩陣計算得到的。

10.一種HDFS中數據的存儲系統，其特征在于，包括：

比較單元，用于通過數據冷熱判別機制獲得HDFS中的文件數據塊的冷熱值，并將所述冷熱值與設定的判別閾值進行比較；

判別單元，用于當所述冷熱值不大于所述判別閾值時，將所述文件數據塊判別為冷數據；

冷數據劃分單元，用于將所述冷數據的文件數據塊分為n塊，并計算出所述n個數據塊對應的m個校驗編碼塊，其中，m，n為正整數，且m＜n；

冷數據存儲單元，用于將所述n個數據塊和m個校驗編碼塊進行存儲。

11.如權利要求10所述的系統，其特征在于，所述比較單元包括檢測子單元，用于通過檢測機制獲得的各文件數據塊的冷熱判別參數值建立數據冷熱鏈表，根據所述參數值計算出所述冷熱鏈表中各文件數據塊的冷熱值。

12.如權利要求10所述的系統，其特征在于，所述比較單元包括參數獲取子單元，用于讀取各文件數據塊中的包含冷熱判別參數的配置文件，以獲取各文件數據塊的冷熱判別參數值，根據所述參數值計算出所述各文件數據塊的冷熱值。

13.如權利要求10所述的系統，其特征在于，所述校驗編碼塊為RS校驗編碼塊。

14.如權利要求13所述的系統，其特征在于，所述RS校驗編碼塊是通過范德門矩陣計算得到的。

15.如權利要求10至14中任一項所述的系統，其特征在于，所述冷數據的文件備份塊為一個。