[發明專利]一種大數據歸檔存儲系統

在審

• 申請號: 201410077302.9
• 申請日: 2014-03-04
• 公開（公告）號: CN103916459A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 孫知信;胡燕平;宮婧;王攀
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F3/06;G06F11/14
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

技術領域

本發明涉及數據存儲領域，特別是一種大數據歸檔存儲系統。?

背景技術

大數據環境下云計算技術已趨于成熟，大型的IT企業正在推進云存儲的部署，各種智能云存儲系統應運而生，CSS(Cloud?Storage?System)云存儲系統也面向可運營的云備份系統，備份與歸檔正朝著融合的方向邁進。傳統的歸檔技術面臨新的挑戰，云計算環境下的數據庫與池化的軟硬資源需要歸檔系統為其擴展新的接口，不再是簡單的數據攝取與接入。海量長期的數據歸檔需要考慮數據檢索的效率，分級存儲管理是較理想的歸檔模式。磁帶的使用方式通常是用來對基本上很少使用的數據進行歸檔的介質(write-once,read-never?or?maybe，一旦寫入，從不使用或者很少使用)，磁盤則可以用來歸檔預期可能檢索的數據，在擴展云計算環境的歸檔系統中下層需要部署用來進行分級的歸檔模塊，需要具有數據檢索的預測功能，同時對歸檔數據進行歷史檢索的分析，及時的采取分級存儲，這類似于計算機存儲系統，從底層的硬盤到CPU的高性能cache(緩存)，容量在降低，存取速度卻在升級。分級的管理同時涉及介質遷移，遷移需要同時考慮歸檔數據與介質的特性，保證數據遷移與介質遷移的數據持有性，介質穩定性。?

應對信息化的公共管理與企事業電子化運作，高能效的歸檔系統勢必成為支撐數據立體式增長的重要保障。在基于信息生命周期管理的思想上，歸檔一直是不被重視的一個環節，主要是基于磁帶技術的歸檔模式正在被云時代、大數據沖擊。過去，研究者們會把目光集中在數據存儲上，這主要來自于傳感器等資源的數據采集能力給存儲系統帶來的壓力，經過長期的研究與實踐，分布式的存儲系統、云存儲逐漸實現了大數據的有效存儲，研究的熱點將轉移到新的計算環境下的歸檔系統。?

全息存儲介質、有機金屬復合薄膜、突破性的DNA(Deoxyribonucleic?acid脫氧核糖核酸，染色體的主要化學成分)與石英玻璃板有望突破磁帶與光盤為主的長期歸檔介質，在工業標準的存儲接口未出現前，歸檔仍主要依靠以硬盤為第一級存儲介質的歸檔系統。國內外有很多歸檔系統的研究與設計，You等人提出了一個深度的歸檔存儲系統，采用一個虛擬的content-addressable(內容尋址)存儲框架與多方式的inter-file(中間文件)和intra-file(內部文件)壓縮機制，有效地解決了數據依賴變化下數據壓縮，測量內容和元數據存儲的效率，展示需要變化級別的復制模型并提供了存儲性能的初步結果，在其框架中，采用MD5(Message?Digest?Algorithm?MD5消息摘要算法第五版)或SHA-1(Secure?Hash?Algorithm-1一種安全散列算法)為每個文件計算出虛擬目錄地址的主要部分，在大數據環境下，為每個?文件計算一個哈希值會為系統增加負荷。?

傳感技術使得流數據無處不在，產生源源不斷的流數據，這考驗著當下企業存儲與歸檔的能力，Abe等人提出了操作合并的機制來歸檔流數據，大多數操作時訪問或者修改操作，對訪問者來說可能存在高度的延時，訪問者不能訪問到邏輯上已經寫入的數據，需要控制合并操作的時間域。Wildani等人采用語義部署歸檔數據，根據訪問的歷史記錄的語義，用索引器建立基于語義的訪問目錄，在重復訪問與語義邏輯相悖時索引器面臨巨大挑戰。?

目前現有技術中還沒有將云存儲的存儲現狀作為大數據歸檔的重難點，歸檔系統的設計缺乏與云數據庫的無縫接合，數據的遷移往往直接從數據源攝取到了歸檔介質中，給后期的數據訪問增加了壓力,爆發式的訪問會給系統帶來超大負荷，應對這訪問集中與多發的機制還是停留在依靠緩存的解決方法,而在歸檔磁盤的檢錯問題上,Klein雖然從RAID(Redundant?Arrays?of?Independent?Disks磁盤陣列，RAID)的系統的角度提出了改進歸檔的方案，在檢錯順序上提出采用最遠距離單元塊優先檢錯的機制，籠統的認為最遠單元塊的錯誤概率較大，缺乏理論依據，優化條帶上沒有具體的方法。?

發明內容

為解決上述技術問題,本發明所采用的技術方案如下:?