[發(fā)明專利]一種基于文件系統(tǒng)解析的海量小文件備份恢復(fù)方法

在審

• 申請?zhí)枺?/td>: 201710904206.0
• 申請日: 2017-09-29
• 公開（公告）號: CN107885616A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計）人: 楊耀凱
• 申請（專利權(quán)）人: 上海愛數(shù)信息技術(shù)股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司31225
• 代理人: 翁惠瑜

技術(shù)領(lǐng)域

本發(fā)明涉及計算機信息存儲技術(shù)領(lǐng)域，尤其是涉及一種基于文件系統(tǒng)解析的海量小文件備份恢復(fù)方法。

背景技術(shù)

當(dāng)今社會處于信息爆炸的時代，數(shù)據(jù)在急速增長。對于許多企業(yè)單位來說，每天都會有大量文件產(chǎn)生，而這些文件數(shù)據(jù)異常脆弱，因此需要及時對新增或者變化的文件進行保護，以保證在文件損壞的情況下可以恢復(fù)到最新狀態(tài)。

傳統(tǒng)的文件備份通過調(diào)用操作系統(tǒng)提供的文件操作接口對文件系統(tǒng)上的文件進行遍歷，然后讀取文件數(shù)據(jù)進行備份。對于每個文件來說都會涉及文件的打開、讀取、關(guān)閉操作，每種操作都會占用一定的計算時間。當(dāng)備份目標(biāo)為海量的小文件時，由于讀取操作占時較短，打開和關(guān)閉文件操作的耗時會占用總耗時的很大比例，磁盤的IOPS(Input/Output Operations Per Second，即每秒進行讀寫(I/O)操作的次數(shù))將非常高，這樣會極大地影響備份性能。備份千萬級的小文件往往會占用幾天甚至大半個月的時間，這種性能無法滿足用戶對于文件的即時保護要求。

當(dāng)前市面上存在一些對文件系統(tǒng)進行備份恢復(fù)的方式，此種方式可以滿足對海量小文件進行快速備份的需求。但是在實際恢復(fù)場景中，往往需要指定文件或者目錄進行恢復(fù)，而這種方式只能對整個文件系統(tǒng)進行恢復(fù)，無法做到細粒度恢復(fù)。

基于上述問題，需要一種既能夠快速備份大量小文件，同時又能滿足指定文件或目錄進行恢復(fù)的方法。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于文件系統(tǒng)解析的海量小文件備份恢復(fù)方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種基于文件系統(tǒng)解析的海量小文件備份恢復(fù)方法，其特征在于，包括備份子方法和恢復(fù)子方法，其中，

所述備份子方法包括：獲取備份任務(wù)，選擇采用完全備份方式或增量備份方式，基于CDP監(jiān)控技術(shù)實現(xiàn)備份；

所述恢復(fù)子方法包括：獲取恢復(fù)任務(wù)，選擇細粒度恢復(fù)方式或整卷恢復(fù)方式，通過對文件系統(tǒng)的解析，實現(xiàn)指定數(shù)據(jù)的恢復(fù)。

較佳的，所述備份子方法中，采用完全備份方式的步驟具體包括：

a1)判斷是否已加載CDP驅(qū)動，若是，則執(zhí)行步驟a2)，若否，則加載CDP驅(qū)動后執(zhí)行步驟a2)；

a3)初始化文件系統(tǒng)變化數(shù)據(jù)塊記錄信息；

a3)根據(jù)文件系統(tǒng)格式，讀取文件系統(tǒng)上的數(shù)據(jù)塊分配記錄；

a4)分析數(shù)據(jù)塊分配記錄，讀取所有已分配的數(shù)據(jù)塊，進行備份，并在備份過程中更新文件系統(tǒng)變化數(shù)據(jù)塊記錄信息；

a5)通過所述文件系統(tǒng)變化數(shù)據(jù)塊記錄信息，對步驟a4)備份過程中發(fā)生變化的數(shù)據(jù)塊進行備份；

a6)數(shù)據(jù)塊不再發(fā)生變化，完成備份。

較佳的，所述備份子方法中，采用增量備份方式的步驟具體包括：

b1)判斷是否已加載CDP驅(qū)動，若是，則執(zhí)行步驟b2)，若否，則加載CDP驅(qū)動后采用完全備份方式進行備份；

b2)判斷需要備份的卷是否進行過完全備份，若是，則執(zhí)行步驟b3)，若否，則采用完全備份方式進行備份；

b3)從CDP驅(qū)動獲取上一次備份結(jié)束后發(fā)生變化的數(shù)據(jù)塊進行備份。

較佳的，所述步驟a4)中，讀取所有已分配的數(shù)據(jù)塊時，將連續(xù)的已分配數(shù)據(jù)塊進行合并讀取。

所述文件系統(tǒng)中，通常使用位圖表來記錄文件系統(tǒng)上數(shù)據(jù)塊的分配情況，位為1時表示該位代表的塊已分配，位為0時表示該位代表的塊未分配，對于狀態(tài)連續(xù)為1的位所表示的這些塊，合并成一次進行讀取，從而減少讀取的次數(shù)。

較佳的，所述CDP驅(qū)動維護一個動態(tài)位圖表和一個靜態(tài)位圖表，各位圖表中，一個位代表一個數(shù)據(jù)塊，位為1時表示該位代表的塊發(fā)生變化，位為0時表示該位代表的塊未發(fā)生變化，其中，

所述動態(tài)位圖表用于記錄發(fā)生變化數(shù)據(jù)塊的信息，

所述靜態(tài)位圖表用于獲取變化數(shù)據(jù)塊信息時，與動態(tài)位圖表進行交換，返回之前發(fā)生變化的數(shù)據(jù)塊信息，不影響交換后變化的數(shù)據(jù)塊信息的記錄。

CDP驅(qū)動可以監(jiān)控操作系統(tǒng)中對指定文件系統(tǒng)卷的IO操作。所述IO操作的最小單位為塊，塊的默認大小一般為512B的整數(shù)倍，寫入操作的塊被視為發(fā)生變化的數(shù)據(jù)塊。

較佳的，所述步驟a2)中，初始化文件系統(tǒng)變化數(shù)據(jù)塊記錄信息具體為：將動態(tài)位圖表和靜態(tài)位圖表的所有位置均置為0。

較佳的，對所述發(fā)生變化的數(shù)據(jù)塊進行備份具體為：

交換動態(tài)位圖表和靜態(tài)位圖表，從新的靜態(tài)位圖表中獲取發(fā)生變化的數(shù)據(jù)塊進行備份，且對連續(xù)的發(fā)生變化的數(shù)據(jù)塊進行合并讀取。