[發明專利]分布式文件系統的數據備份方法

有效

• 申請號: 201410013486.2
• 申請日: 2014-01-11
• 公開（公告）號: CN103761162A
• 公開（公告）日: 2014-04-30
• 發明（設計）人: 武永衛;陳康;鄭緯民;李貞強
• 申請（專利權）人: 深圳清華大學研究院
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 深圳市鼎言知識產權代理有限公司 44311
• 代理人: 孔麗霞

1.一種分布式文件系統的數據備份方法，應用于兩個集群的HDFS文件系統，其特征在于，該方法包括：

元數據同步步驟：同步控制節點根據客戶端輸入的數據備份命令中的源路徑獲取拷貝列表，同步該拷貝列表中所有源和目標文件的元數據，并生成各源文件的文件校驗碼列表；

文件差異分析步驟：同步控制節點將源文件的每個文件塊的校驗碼與目標文件的各文件塊的校驗碼進行比較，判定源和目標文件中各文件塊的內容一致性，根據判定結果替換文件校驗碼列表中的源文件塊和源數據節點，并將文件校驗碼列表的各行記錄發送至相應的源數據節點；

文件塊差異分析步驟：源數據節點接收文件校驗碼列表的行記錄，將該行記錄中的源文件塊的每個chunk的校驗碼與目標文件塊的各chunk的校驗碼進行比較，判定源和目標文件塊中各chunk的內容一致性，根據判定結果生成文件塊差異表，并將該文件塊差異表和接收的文件校驗碼列表的行記錄發送給對應的目標數據節點；及

數據備份步驟：目標數據節點創建臨時文件塊，根據接收的文件塊差異表寫入數據至該臨時文件塊，以臨時文件塊的內容替換目標文件塊的內容。

2.如權利要求1所述的分布式文件系統的數據備份方法，其特征在于，所述的元數據同步步驟包括：

a）同步控制節點根據客戶端輸入的源路徑從源文件系統的元數據節點獲取拷貝列表，創建線程池并根據該拷貝列表為每個線程分配源文件，該拷貝列表為源路徑下的所有源文件的列表，包括各源文件的文件名、大小以及文件路徑；

b）同步控制節點的各線程從源文件系統的元數據節點獲取各線程被分配的源文件的元數據，根據源文件的元數據從相應的源數據節點中分別獲取源文件包含的各文件塊的校驗碼；

c）同步控制節點的各線程從目標文件系統的元數據節點獲取各源文件對應的目標文件的元數據，比較源和目標文件的大小，根據比較結果，向目標文件系統的元數據節點申請創建或刪除目標文件的文件塊，使得目標文件大小與源文件一致；

d）同步控制節點的各線程從目標文件系統的元數據節點重新獲取各目標文件的元數據，根據各目標文件的元數據從相應的目標數據節點獲取各目標文件包含的所有文件塊的校驗碼；

e）同步控制節點的各線程根據各自的源和目標文件的元數據以及所有源和目標文件塊的校驗碼生成文件校驗碼列表，該文件校驗碼列表包括：文件塊的序號、源文件塊ID、源文件塊校驗碼、源數據節點ID和目標文件塊ID、目標文件塊校驗碼、目標數據節點ID以及目標文件塊是否為新創建文件塊的標記位Flag。

3.如權利要求1所述的分布式文件系統的數據備份方法，其特征在于，所述的文件差異分析步驟包括：

a）依次將源文件的每個文件塊的校驗碼分別與目標文件的所有目標文件塊的校驗碼進行比較，判定源和目標文件塊的內容一致性；

b）當存在與源文件塊內容相同的目標文件塊，則將文件校驗碼列表中該源文件塊的序號對應的源文件塊ID和源數據節點ID分別替換為與該源文件塊校驗碼相同的目標文件塊的文件塊ID和目標數據節點ID，當不存在與源文件塊內容相同的目標文件塊時，則返回步驟a繼續下一個源文件塊的比較；

c）判定是否為最后一個源文件塊，若是，則進入步驟d，否則返回步驟a繼續下一個源文件塊的比較；

d）遍歷文件校驗碼列表，刪除源和目標文件塊ID相同且源和目標數據節點ID相同的行記錄；

e）根據源數據節點ID，將文件校驗碼列表的各行記錄分別發送至相應的源數據節點。