[發明專利]分布式文件系統對多個副本數據進行處理的方法及該系統

有效

• 申請號: 201210381299.0
• 申請日: 2012-10-10
• 公開（公告）號: CN103729352B
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 伍海君;朱會燦;鄧大付;李銳;鄒永強;董乘宇;陳曉東;劉暢;趙大勇;楊紹鵬;闕太富;王磊;張書鑫;張銀鋒
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 周華霞,王麗琴

1.一種分布式文件系統對多個副本數據進行處理的方法，其特征在于，該方法包括：

客戶端為數據塊的多個副本數據分別選取節點地址，由選取的節點地址組成地址集合，并為數據塊設置版本號；

客戶端向節點地址對應的數據節點寫入副本數據，并在寫入各數據節點的副本數據中添加設置的版本號；

如果副本數據在寫入過程中發生損壞，則客戶端增大設置的版本號，將增大的版本號添加到寫入各數據節點的副本數據中，并將增大后的版本號作為正確版本號，通知主節點服務器在硬盤上記錄數據塊多個副本數據的地址集合和正確版本號；

客戶端從主節點服務器獲取數據塊多個副本數據的地址集合和正確版本號；

客戶端從與地址集合包含的各節點地址對應的數據節點讀取副本數據；

客戶端判斷讀取的副本數據包含的版本號與正確版本號是否一致，如果是，則保留讀取的副本數據，否則丟掉讀取的副本數據。

2.如權利要求1所述的方法，其特征在于，所述通知主節點服務器在硬盤記錄數據塊多個副本數據的地址集合和正確版本號之后，該方法還包括數據追加寫入，具體地：

客戶端從主節點服務器獲取數據塊的多個副本數據的地址集合和正確版本號；

客戶端向與地址集合包含的各節點地址對應的數據節點，寫入追加的數據；

如果數據在寫入過程中發生損壞，則客戶端增大從主節點服務器獲取的版本號，將增大的版本號添加到寫入數據節點的數據中；并將增大后的版本號作為最終的正確版本號，通知主節點服務器更新數據塊多個副本數據的正確版本號。

3.如權利要求1所述的方法，其特征在于，所述客戶端從主節點服務器獲取數據塊多個副本數據的地址集合和正確版本號，具體包括：

客戶端向主節點服務器發送包含文件ID的信息獲取請求；

主節點服務器從硬盤讀取與文件ID對應的各數據塊多個副本數據的地址集合和正確版本號，將讀取的地址集合和正確版本號反饋給客戶端。

4.如權利要求1所述的方法，其特征在于，所述客戶端從主節點服務器獲取數據塊多個副本數據的地址集合和正確版本號之前，該方法還包括：

客戶端為當前數據塊的多個副本數據分別選取節點地址，由選取的節點地址組成地址集合，并為當前數據塊設置版本號；

客戶端向節點地址對應的數據節點寫入副本數據，在寫入各數據節點的副本數據中添加設置的版本號，并添加上一數據塊的地址集合和正確版本號；

如果副本數據在寫入過程中發生損壞，則客戶端增大設置的版本號，將增大的版本號添加到寫入各數據節點的副本數據中；將增大后的版本號作為當前數據塊的正確版本號，判斷當前數據塊是否為最有一個數據塊，如果是，將當前數據塊的地址集合和正確版本號記錄到下一數據塊的各副本數據中，如果不是，則通知主節點服務器在硬盤上記錄當前數據塊多個副本數據的地址集合和正確版本號。

5.如權利要求4所述的方法，其特征在于，所述客戶端從主節點服務器獲取數據塊多個副本數據的地址集合和正確版本號，具體包括：

客戶端向主節點服務器發送包含文件ID的信息獲取請求；

主節點服務器從硬盤讀取與文件ID對應的最后一個數據塊多個副本數據的地址集合和正確版本號；并向各數據節點發送信息獲取請求，接收數據節點反饋的除最后一個數據塊外其他各數據塊多個副本數據的地址集合和正確版本號，存儲在內存中；

主節點服務器將與文件ID對應的所有數據塊的地址集合和正確版本號反饋給客戶端。