[發明專利]一種實現海量數據存取的系統及方法

有效

• 申請號: 201110308883.9
• 申請日: 2011-10-12
• 公開（公告）號: CN102436478A
• 公開（公告）日: 2012-05-02
• 發明（設計）人: 張硯波;劉正偉
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 栗若木;王漪

1.一種實現海量數據存取的系統，包括文件索引數據庫和數據塊索引數據庫，其中文件索引數據庫在通過文件索引來訪問存儲的一個或多個文件時訪問到數據塊索引數據庫中一個或多個的數據塊，其特征在于：

數據塊索引數據庫，至少包括數據索引預處理模塊，用于在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數。

2.按照權利要求1所述的系統，其特征在于，

所述數據索引預處理模塊在記錄的所述最近訪問次數超過預置的閥值時，將相應的數據塊重新整合為一個新的數據塊；或者，將相應的數據塊重新整合為一個新文件，存儲在所述文件索引數據庫中。

3.按照權利要求1或2所述的系統，其特征在于，

所述數據塊索引數據庫還包括數據備份模塊，用于在一個或多個數據塊被訪問的同時，將每一數據塊的引用次數作為被依賴度累計，根據累計的引用次數確定數據塊的備份數量，并按照確定的所述備份數量將數據塊備份在不同位置的介質上。

4.按照權利要求1或2所述的系統，其特征在于，所述數據索引預處理模塊包括依次連接的最近訪問次數統計單元和數據重新整合單元，其中：

最近訪問次數統計單元，用于在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數，當記錄的所述最近訪問次數超過預置的閥值時，將相應數據塊的標識輸出給數據重新整合單元；

數據重新整合單元，用于根據所述數據塊的標識將相應的數據塊重新整合為一個新的數據塊，或者重新整合為一個新文件存儲在所述文件索引數據庫中。

5.按照權利要求3所述的系統，其特征在于，所述數據備份模塊包括依次連接的數據塊引用次數統計單元和數據塊備份量化單元，其中：

數據塊引用次數統計單元，用于在一個或多個數據塊被訪問的同時，累計每一數據塊的引用次數，并將各數據塊的標識及累計的所述引用次數輸出給數據塊備份量化單元；

數據塊備份量化單元，用于按照如下公式計算出所述數據塊的備份數量：

n＝f(num)-1＝[min(max(2，a+b?lg(num))，blockmax)]-1；

式中，

所述n表示計算出的所述數據塊的備份數量；

所述num表示所述數據塊的引用次數；

所述a是根據所述num設置的常數；

所述b是根據所述數據塊的重要性級別設置的常數；

所述blockmax表示所述數據塊的備份數量的上限值；

并按照計算的所述備份數量將所述數據塊備份在不同位置的介質上。

6.一種實現海量數據存取的方法，涉及文件索引數據庫和數據塊索引數據庫，該方法包括：

文件索引數據庫通過文件索引訪問存儲的一個或多個文件時，訪問到數據塊索引數據庫中一個或多個的數據塊；

數據塊索引數據庫在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數。

7.按照權利要求6所述的方法，其特征在于，還包括：

所述數據塊索引數據庫在記錄的所述最近訪問次數超過預置的閥值時，將相應的數據塊重新整合。

8.按照權利要求7所述的方法，其特征在于，所述數據塊索引數據庫將相應的數據塊重新整合，包括：

將相應的數據塊重新整合為一個新的數據塊；

或者，將相應的數據塊重新整合為一個新文件，存儲在所述文件索引數據庫中。

9.按照權利要求6至8任一項所述的方法，其特征在于，還包括：

所述數據塊索引數據庫在一個或多個數據塊被訪問的同時，將每一數據塊的引用次數作為被依賴度累計，根據累計的所述引用次數確定所述數據塊的備份數量，并按照確定的備份數量將所述數據塊備份在不同位置的介質上。

10.按照權利要求9所述的方法，其特征在于，所述數據塊索引數據庫根據累計的所述引用次數確定所述數據塊的備份數量，按照如下公式計算確定所述數據塊的備份數量：

n＝f(num)-1＝[min(max(2，a+b?lg(num))，blockmax)]-1；

式中，

所述n表示計算出的所述數據塊的備份數量；

所述num表示所述數據塊的引用次數；

所述a是根據所述num設置的常數；

所述b是根據所述數據塊的重要性級別設置的常數；

所述blockmax表示所述數據塊的備份數量的上限值。