[發明專利]基于Map/Dedup的數據存儲云化和云備份方法

有效

• 申請號: 201110305170.7
• 申請日: 2011-10-10
• 公開（公告）號: CN102436408A
• 公開（公告）日: 2012-05-02
• 發明（設計）人: 鄒恒明;金娟;文珊珊
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 王萍萍

1.一種基于Map/Dedup的數據存儲云化和云備份方法，其特征在于，包括數據存儲云化的步驟和服務器數據備份的步驟，其中：

所述數據存儲云化的步驟進一步包括如下步驟：

步驟(11)定制映射模塊的映射規則以及重復數據刪除模塊的重復數據刪除方式；

步驟(12)映射服務器抓取或者接收數據源的數據；

步驟(13)所述映射服務器判斷所述數據源的所述數據是否需要進行預處理，如果不需要進行預處理，直接執行步驟(14)，如果需要進行預處理，則通過所述映射服務器的預處理模塊對所述數據進行預處理，得到結構化數據；

步驟(14)所述映射模塊將所述結構化數據按所述映射規則映射到相應的存儲服務器上；

步驟(15)所述存儲服務器讀取所述結構化數據，所述重復數據刪除模塊按所述重復數據刪除方式對所述結構化數據進行重復數據刪除；

步驟(16)所述存儲服務器存儲重復數據刪除完成后的數據；

所述服務器數據備份的步驟進一步包括如下步驟：

步驟(21)所述存儲服務器掃描源文件的歷史備份，決定是否備份所述源文件及備份方式；

步驟(22)所述存儲服務器打開所述源文件的增量備份的索引文件和內容文件，以及所述源文件的完全備份文件，以備讀取；

步驟(23)所述存儲服務器根據所述增量備份的所述索引文件，建立索引網絡；

步驟(24)所述存儲服務器根據所述索引網絡，從始至末依次將所述增量備份中的各數據塊中的數據讀出到內存；

步驟(25)將所述存儲服務器讀出的所述數據塊中的數據與所述源文件對應位置的數據作比較，為所述數據塊生成新的增量備份的索引文件，釋放所述數據塊所占的內存空間；

步驟(26)所述存儲服務器釋放所述索引網絡所占的內存空間。

2.如權利要求1所述的數據存儲云化和云備份方法，其中所述步驟(11)進一步包括如下步驟：

步驟(111)根據所述映射服務器上數據源的存儲需求，定制映射規則；

步驟(112)根據所述映射規則，在所述映射服務器上生成對應的結構化數據模板；

步驟(113)根據所述結構化數據模板的特點，定制重復數據刪除模塊的重復數據刪除方式。

3.如權利要求2所述的數據存儲云化和云備份方法，其中所述步驟(13)進一步包括如下步驟：

步驟(131)根據所述數據源類型，讀取所述數據源對應的、由步驟(112)生成的結構化數據模板；

步驟(132)將所述映射服務器上獲取的數據的數據結構與步驟(131)讀取的所述結構化數據模板進行比對，如果兩者相符，則直接執行步驟(14)，如果兩者的不相符，則執行步驟(133)；

步驟(133)將所述獲取的數據按照所述結構化數據模板進行預處理，生成結構化數據。

4.如權利要求3所述的數據存儲云化和云備份方法，其中所述步驟(14)進

一步包括如下步驟：

步驟(141)所述映射服務器根據所述數據源，讀取步驟(111)中定制的所述映射規則；

步驟(142)所述映射服務器根據所述映射規則將步驟(13)的所述結構化數據映射到所述存儲服務器上。

5.如權利要求4所述的數據存儲云化和云備份方法，其中所述步驟(15)進一步包括如下步驟：

步驟(151)所述存儲服務器的所述重復數據刪除模塊采用一個Hash函數為數據塊計算校驗和，所述Hash函數唯一地識別數據；

步驟(152)所述重復數據刪除模塊將所述數據塊記錄在一張數據表中，所述數據表建立了從所述數據塊的校驗和到所述數據塊的存儲位置的映射，以及從所述數據塊的校驗和到所述數據塊的引用次數的映射；

步驟(153)當所述數據塊在所述存儲服務器中已有數據備份時，僅增加所述數據塊的引用次數；

步驟(154)當數據高度冗余時，以備份服務器、備份虛擬機映像或備份源碼庫的方式成倍減少空間消耗。