[發明專利]云存儲系統的數據備份加速方法

有效

• 申請號: 201410124427.2
• 申請日: 2014-03-28
• 公開（公告）號: CN103902410A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 趙曉南;張曉;李戰懷;曾雷杰
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F11/14
• 分類號: G06F11/14;H04L29/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 王鮮凱

1.一種云存儲系統的數據備份加速方法，其特征在于包括以下步驟：

步驟一、確定系統中各個節點和子系統所承擔的角色，并根據角色的不同，安裝相應的功能組件，以配合角色完成備份過程中的對應處理；

步驟二、在源端首次發出備份請求之前，進行特征碼預處理；

（1）源端處理；首先，特征碼管理組件對源端的數據分塊進行哈希值的計算并生成哈希表，根據該表與自身的匹配查找，對源端的數據進行重刪處理，即將重復出現的哈希值用指向第一次出現該哈希值的數據塊的位置信息進行替換，同時對數據本身存儲和對應的元數據也做相應的處理；然后，將完成重刪處理的哈希表傳送到目標端的特征碼管理組件，該表即為源端哈希表；

（2）目標端處理；目標端對本數據中心內部的數據進行哈希值計算，生成目標端的全局哈希表，表中保存做重刪處理后的最終結果；將該全局哈希表同源端哈希表進行比較，把哈希值匹配的項目集中起來，生成本地哈希表，并在源端、目標端的數據發生修改、刪除等變化時加以維護；

（3）云端處理；目標端在完成系統初始化后，利用空閑的計算資源和帶寬，定期由備份服務中的數據獲取功能組件采用網絡爬蟲的方法根據一定的規則在云端獲取數據信息并計算相應的哈希值，將相應的云端位置、源端和云端哈希值的映射關系等數據備份所必需的基本信息收集后傳回目標端；爬蟲程序獲取的各個數據塊的哈希值信息記錄，若系統中的忽略列表不為空，則先在該表中查找，若找到匹配的項目，則停止當前數據塊信息記錄的處理，取下一條記錄進行處理；否則與目標端的全局哈希表中的項目進行比較，當一個數據塊的哈希值找到匹配的項目時，將相應的信息存入一個忽略列表，否則存入網絡哈希表；若網絡爬蟲程序在不同的網絡站點上獲得了相同的數據哈希值信息，則根據優先原則選擇2-3個最優的結果保存到網絡哈希表中；

步驟三、當源端發出備份請求時，源端組件先根據所有需要備份的數據塊的各條哈希值信息記錄生成源端的原始備份計劃表，并發送到目標端；目標端的特征碼管理組件將原始備份計劃表中的記錄逐條在對應的網絡哈希表和本地哈希表中進行查找，根據查找結果進行相應的處理并生成實際備份計劃表；實際備份計劃表中有三個級別的子表，在未進行查找前，所有數據塊的哈希值信息記錄都存入第一級表中，其余兩個子表均為空；在匹配查找的過程中，如果數據塊A的哈希值記錄在網絡哈希表中找到匹配的記錄，則將A對應的哈希值記錄從第一級子表中刪除，同時從網絡哈希表中將相應的哈希值記錄復制到第二級子表中，并將此條記錄從網絡哈希表中刪除；類似的若A的哈希值信息記錄在本地哈希表中找到匹配的項目，則將該數據塊的哈希值記錄從第一級子表中刪除，將本地哈希表中對應的哈希值記錄復制到第三級子表中，并刪除本地哈希表中對應的信息記錄；查找過程結束后，實際備份計劃表的第一級子表中的內容全部來自原始備份計劃表，第二級子表中的內容來自網絡哈希表，第三級子表的內容來自本地哈希表；

步驟四、數據復制處理；目標端備份管理服務將根據備份計劃表實施具體的數據復制處理；第一步，處理第一級子表；根據表中記錄將每個數據塊從源端復制到目標端，當完成一塊數據的復制時，將實際備份計劃表中對應的哈希值信息記錄刪除，并將該數據塊復制后的相應信息存入第三級子表，同時更新目標端的全局哈希表；第二步，處理第二級子表；根據表中記錄將每個數據塊從云端的網站復制到目標端，每當完成一塊數據的復制時，將對應的信息記錄從備份計劃表中刪除并在忽略列表加以保存，然后將該數據塊復制后的相應信息存入第三級子表并同時更新全局哈希表；在第三級子表中的哈希值信息記錄表明對應的數據塊已經在目標端，不需要再做數據復制處理；

步驟五、差分備份處理；在完成初次處理的全備份后，系統將按照一定的時間間隔進行定期的差分備份；差分備份的備份計劃表是在兩次備份處理的間隔中由每一次的源端數據更新觸發的哈希表更新直接更新至實際備份計劃表積累產生的。