[發明專利]一種實現海量數據存取的系統及方法

有效

• 申請號: 201110308883.9
• 申請日: 2011-10-12
• 公開（公告）號: CN102436478A
• 公開（公告）日: 2012-05-02
• 發明（設計）人: 張硯波;劉正偉
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 栗若木;王漪

技術領域

本發明涉及計算機數據存儲技術，尤其涉及海量數據存儲的方法及系統。

背景技術

針對目前TB(TeraByte，萬億字節)級、PB(PetaByte，千萬億字節)級甚至更高級的海量數據存儲，如何高效地提取和安全地存儲海量數據，已成為用戶以及業界的關注重點。

在現階段，針對海量數據的存儲和為用戶提供服務主要存在如下問題：

(1)數據的高效讀取難以實現

在海量數據的存儲系統中，首先需要將數據進行不確定性大小的數據分塊，當用戶需要調用存儲中的文件時，系統會按照索引表對數據塊進行索引并進行數據的整合供用戶使用。在對數據塊進行索引時需要耗費較長的時間，因此對頻繁調用的數據沒有通過預處理機制進行整合，會使得數據存儲的讀取速度不高，因而會影響到數據讀取的效率。

(2)安全備份未能針對數據的重要性實現

因為面臨非法攻擊、管理員的誤操作、磁盤損壞、壽命限制以及數據中心遭受地震等自然災害，會使數據存儲的介質有不安全的因素或隱患，一旦發生上述情況，會導致數據丟失。因此，海量數據的存儲必須制定合適的備份策略，如采取本地備份和遠程備份相結合的備份方案。而在目前并未采取針對不同數據塊的重要性備份不同數量的措施，因而難以安全確保用戶重要數據的完整性。

綜上所述可知，現有的海量數據存儲存在著數據存取效率較低及數據存儲安全性不高的問題，亟待提供一種實現海量數據存取的方法及系統，能夠提高海量數據的存取效率，并能夠針對用戶重要數據確保其存儲的安全性。

發明內容

本發明所要解決的技術問題是提供一種實現海量數據存儲的方法及系統，能夠提高數據存取的效率。

為了解決上述技術問題，本發明提供了一種實現海量數據存取的系統，包括文件索引數據庫和數據塊索引數據庫，其中：

文件索引數據庫在通過文件索引來訪問存儲的一個或多個文件時訪問到數據塊索引數據庫中一個或多個的數據塊；

數據塊索引數據庫，至少包括數據索引預處理模塊，用于在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數。

進一步地，

數據索引預處理模塊在記錄的最近訪問次數超過預置的閥值時，將相應的數據塊重新整合為一個新的數據塊；或者，將相應的數據塊重新整合為一個新文件，存儲在文件索引數據庫中。

進一步地，

數據塊索引數據庫還包括數據備份模塊，用于在一個或多個數據塊被訪問的同時，將每一數據塊的引用次數作為被依賴度累計，根據累計的引用次數確定數據塊的備份數量，并按照確定的備份數量將數據塊備份在不同位置的介質上。

進一步地，數據索引預處理模塊包括依次連接的最近訪問次數統計單元和數據重新整合單元，其中：

最近訪問次數統計單元，用于在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數，當記錄的最近訪問次數超過預置的閥值時，將相應數據塊的標識輸出給數據重新整合單元；

數據重新整合單元，用于根據數據塊的標識將相應的數據塊重新整合為一個新的數據塊，或者重新整合為一個新文件存儲在文件索引數據庫中。

進一步地，數據備份模塊包括依次連接的數據塊引用次數統計單元和數據塊備份量化單元，其中：

數據塊引用次數統計單元，用于在一個或多個數據塊被訪問的同時，累計每一數據塊的引用次數，并將各數據塊的標識及累計的所述引用次數輸出給數據塊備份量化單元；

數據塊備份量化單元，用于按照如下公式計算出數據塊的備份數量：

n＝f(num)-1＝[min(max(2，a+b?lg(num))，blockmax)]-1；

式中，

n表示計算出的數據塊的備份數量；

num表示數據塊的引用次數；

a是根據num設置的常數；

b是根據數據塊重要性級別設置的常數；

blockmax表示數據塊的備份數量的上限值；

并按照計算的備份數量將數據塊備份在不同位置的介質上。

為了解決上述技術問題，本發明提供了一種實現海量數據存取的方法，涉及文件索引數據庫和數據塊索引數據庫，該方法包括：

文件索引數據庫通過文件索引訪問存儲的一個或多個文件時，訪問到數據塊索引數據庫中一個或多個的數據塊；

數據塊索引數據庫在一段時間內一個或多個數據塊被訪問的同時，記錄被訪數據塊的最近訪問次數。