[發明專利]一種數據復制方法及裝置

有效

• 申請號: 201210556389.9
• 申請日: 2012-12-19
• 公開（公告）號: CN103885717B
• 公開（公告）日: 2016-10-12
• 發明（設計）人: 龔飛;上官應蘭
• 申請（專利權）人: 杭州宏杉科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

技術領域

本發明涉及存儲技術領域，尤其涉及一種數據復制方法及裝置。

背景技術

復制技術是網絡存儲中一種數據保護技術，其主要實現手段是利用IP網絡，實現兩臺存儲設備的LUN資源（邏輯存儲資源）之間的數據“同步”，其目的是為LUN建立和維護數據副本。很多時候復制是遠程的復制，受益于IP網絡傳輸能力的不斷提升，遠程復制正在得到更為廣泛的使用。

遠程復制的核心思想就是在災難備份中心為生產中心的LUN（稱為復制源）建立數據副本（稱為復制副本），將復制源中發生變化的數據周期性的同步到復制副本。一旦一臺存儲設備所在區域發生災難導致該設備上數據丟失時，可使用遠程的方式在另一臺存儲設備上的數據副本恢復出生產數據。

考慮到遠程復制通常會跨越廣域網絡（比如IP?WAN），為了提高復制的處理效率和節約廣域網絡的帶寬，因此復制通常采用增量復制方式，即每次復制同步時，僅復制兩個復制時間點之間發生變化的數據。在復制源一側，作為遠程復制的源資源，存儲設備需要記錄在兩次復制之間的數據的變化情況。目前數據變化情況主要通過差異位圖來進行標識，差異位圖通過一個bit標識復制源某一段存儲空間/區域內的數據發生了變化，需要同步到復制副本。這一段存儲空間/區域簡稱為數據塊，其大小（通常稱為差異粒度）一般是固定的。其實現方法是，當復制源有寫入操作時，確定哪些區域內的數據發生了變化，進而同步更新差異位圖記錄變化。

從以上描述可以看出，所述差異粒度越小，則差異數據變化的記錄就越精確。但是在目前網絡中數據量飛速增長的情況下，LUN容量越來越大，此時差異粒度越小，則差異位圖所占用的空間就會越大。例如復制源的大小為128TB時，如果差異粒度為一個扇區，則差異位圖的大小為32GB。維護差異位圖的代價將越來越大，需要考慮差異位圖所占的處理資源、差異位圖的更新頻率、差異位圖的訪問速度、對復制源在線業務的影響等諸多因素。因此在目前業界通用的實現中，差異粒度都比較粗，通常都大于64KB。

粗粒度的差異位圖帶來的問題就是：即使只修改了很小一部分數據，但是需要按照差異粒度傳輸全部的數據。請參考圖2的示例，假設差異粒度是1M。通過差異位圖發現第一個數據塊的數據存在差異，這1M的差異數據中實際上只有前12K數據是不一致的，而其他數據都是一致的。這些其他數據理論上是沒有必要復制的。為了降低數據傳輸量，提高鏈路帶寬的使用率，一種改進作法是：在復制差異數據傳輸前，再進行微掃描，即通過特定方法進一步比較復制源和復制副本上差異粒度中的數據，獲取更細差異粒度上的差異數據。圖2中微掃描使用了更細的差異粒度4KB，其中相應的位圖并沒有全部顯示出來。在實現上，可以通過分段MD5校驗獲得復制源和復制副本的差異，這樣就可以知道在圖2中只有前12K數據是不一致的。

通過微掃描方式，可以減少復制過程中傳輸的數據量，但是微掃描引入了新的處理流程，一方面，微掃描需要讀復制源，額外的讀操作會影響復制源的在線業務性能；另一方面，需要進行微掃描的存儲空間越大，對復制源的在線業務性能影響越大。

發明內容

有鑒于此，本發明提供一種數據復制裝置，應用于存儲設備上，該存儲設備用于將復制源的數據發送給復制副本上去，該裝置包括業務處理單元、初始化處理單元、位圖遍歷單元、差異獲取單元以及復制執行單元，中：

業務處理單元，用于處理面向復制源的數據寫入業務，將數據寫入到對應的數據塊上，并相應更新差異位圖以及寫入統計表；其中該差異位圖包括若干標志位，每一標志位對應于一個數據塊，所述寫入統計表包括與標志位對應的寫入統計參數；

初始化處理單元，用于在需要執行復制操作時，掛起業務處理單元的數據寫入業務以暫停向復制源中寫入數據；將差異位圖以及寫入統計表進行備份，并在備份完成后將差異位圖以及寫入統計表初始化，然后恢復業務處理單元的數據寫入業務；

位圖遍歷單元用于判斷備份的差異位圖是否遍歷結束，如果是則通知初始化處理單元結束本次復制，否則獲取備份的差異位圖中的下一個標志位作為當前標志位；判斷當前標志位是否表示有數據差異，如果是則從備份的寫入統計表中讀取當前標志位對應的寫入統計參數，否則返回繼續判斷備份的差異位圖是否遍歷結束；

差異獲取單元，用于判斷讀取到的寫入統計參數是否已經達到預設閾值，如果是則獲取該標志位對應的數據塊上的數據作為差異數據，否則對該標志位對應的數據塊執行微掃描操作以獲得對應的差異數據；

復制執行單元，用于將差異數據發送給復制副本。