[發明專利]一種網絡文件系統中數據的實時去重和傳輸方法

有效

• 申請號: 201010210339.6
• 申請日: 2010-06-25
• 公開（公告）號: CN101917396A
• 公開（公告）日: 2010-12-15
• 發明（設計）人: 唐力;汪東升
• 申請（專利權）人: 清華大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

1.一種網絡文件系統中數據的實時去重和傳輸方法，其特征在于該方法包括以下步驟：

(1)在網絡文件系統的客戶端和服務器端各設置文件元數據表、數據塊索引表和文件組成表；所述的文件元數據表記錄網絡文件系統中每個文件的元數據，該元數據包括文件標識、文件名、文件所在文件夾的標識、文件大小、文件類型、訪問權限以及文件的創建、修改和訪問時間；所述的數據塊索引表記錄網絡文件系統中文件的數據塊的標識以及與標識相對應的數據塊的引用次數，其中數據塊的標識為該數據塊內容的哈希值；所述的文件組成表記錄組成網絡文件系統中的文件的數據塊的信息，包括文件標識、起始位置、數據塊大小和數據塊標識，由其中的起始位置和數據塊大小決定數據區域；

在網絡文件系統的客戶端設置一個待發送消息隊列，用于存儲客戶端待發送給服務器端的數據更新消息；

(2)客戶端通過文件系統驅動接收和響應客戶端應用程序對網絡文件系統發起的操作命令，該操作命令包括創建新文件、向已有文件寫入數據、從已有文件讀取數據和刪除已有文件；

(2-1)當客戶端的文件系統驅動接收到創建新文件的操作命令時，在客戶端的上述文件元數據表中記錄被創建文件的元數據，并將該元數據封裝成一個文件元數據更新消息，再將該消息添加到客戶端的上述待發送消息隊列的隊尾；

(2-2)當客戶端的文件系統驅動接收到向已有文件寫入數據的操作命令時，進行以下操作：

(2-2-1)根據操作命令中被寫文件的文件標識、寫入位置和寫入數據大小，從客戶端的上述文件組成表中檢索屬于該被寫文件的兩個數據塊標識，且與該兩個數據塊標識相對應的兩個數據塊為與被寫入數據區域相互重疊的首、尾兩個數據塊；

(2-2-2)根據檢索到的數據塊標識，從客戶端存儲的文件中讀取與該數據塊標識相對應的數據塊內容；

(2-2-3)將讀出的數據塊內容中與被寫入數據區域相不重疊的數據拼接到被寫入數據的兩側，得到拼接后的數據及數據區域；

(2-2-4)從客戶端的上述文件組成表中檢索與屬于該被寫文件、且起始位置位于上述步驟(2-2-3)數據區域之內的數據塊相對應的數據塊標識；

(2-2-5)將與從客戶端的上述數據塊索引表中檢索到的數據塊標識相對應的數據塊的引用次數減1，當引用次數成為0時，從客戶端的數據塊索引表中刪除該數據塊標識及與該數據塊標識相對應的數據塊引用次數，并從客戶端的存儲設備上刪除該數據塊內容；

(2-2-6)將上述步驟(2-2-3)拼接后的數據切分成一組新數據塊；

(2-2-7)從客戶端的上述數據塊索引表中分別搜索與上述一組新數據塊相對應的每個數據塊標識：若該新數據塊標識已存在，則在客戶端的數據塊索引表中將與該新數據塊標識相對應的數據塊的引用次數加1，若該數據塊標識為新標識，則在客戶端的數據塊索引表中添加該新數據塊的標識，并將與該新數據塊標識相對應的數據塊的引用次數設置為1；在客戶端存儲該新數據塊的內容；在客戶端的上述文件組成表中記錄被寫文件的標識、寫入位置、該新數據塊的大小以及該新數據塊的標識；

(2-2-8)在客戶端將上述被寫文件的文件標識、每個新數據塊的起始位置、每個新數據塊大小和每個新數據塊標識封裝成一個文件組成更新消息，并將該更新消息添加到客戶端的上述待發送消息隊列的隊尾；

(2-2-9)更新客戶端的上述文件元數據表中被寫文件的元數據，并將該更新后的元數據封裝成文件元數據更新消息，并將該更新消息添加到客戶端的上述待發送消息隊列的隊尾；

(2-3)當客戶端的文件系統驅動接收到從已有文件讀取數據的操作命令時，進行以下操作：

(2-3-1)根據操作命令，在客戶端的內存中分配與待讀取數據的大小相等的內存空間，并將該內存空間初始化為空白；

(2-3-2)根據操作命令中的被讀文件的文件標識和讀取位置，從客戶端的上述文件組成表中檢索屬于該被讀文件的數據塊標識，且與該數據塊標識相對應的數據塊是起始位置處于讀取位置之前的最后一個數據塊，若該數據塊標識存在，且該數據塊區域與待讀取數據區域存在重疊，則從客戶端讀取該數據塊內容，并將該讀取的內容與待讀取數據區域的重疊部分寫入上述步驟(2-3-1)的內存空間的頭部；

(2-3-3)根據該操作命令，從客戶端的上述文件組成表中檢索屬于該被讀文件的數據塊標識，且與該數據塊標識相對應的數據塊的起始位置處于待讀取數據區域內，遍歷檢索到的所有數據塊標識，對每個數據塊標識進行以下操作：

(2-3-3-1)判斷客戶端是否存有與該數據塊標識相對應的數據塊內容，若該內容存在，則讀取該數據塊內容，若該內容不存在，則從網絡文件系統的服務器端下載該數據塊內容，并在客戶端存儲該數據塊內容；

(2-3-3-2)將上述數據塊內容中與待讀取數據區域的重疊部分寫入上述步驟(2-3-1)的內存空間中；

(2-3-4)更新客戶端的上述文件元數據表中被讀文件的元數據，將該元數據封裝成一個文件元數據更新消息，并將該消息添加到客戶端的上述待發送消息隊列的隊尾；

(2-3-5)將上述步驟(2-3-1)的內存空間中的數據通過客戶端的文件系統驅動返回給客戶端的應用程序；

(2-4)當客戶端的文件系統驅動接收到刪除已有文件的操作命令時，進行以下操作：

(2-4-1)從客戶端的上述文件組成表中檢索屬于被刪除文件的數據塊標識；

(2-4-2)在客戶端的上述數據塊索引表中將與檢索到的每個數據塊標識相對應的數據塊的引用次數減1，當引用次數變為0時，從客戶端的數據塊索引表中刪除該數據塊標識及與該數據塊標識相對應的數據塊引用次數，從客戶端刪除該數據塊內容；

(2-4-3)從客戶端的上述文件組成表中刪除被刪除文件的所有記錄；

(2-4-4)從客戶端的上述文件元數據表中刪除被刪除文件的元數據；

(2-4-5)在客戶端將被刪除文件的文件標識封裝成一個文件刪除消息，并將該消息添加到客戶端的上述待發送消息隊列的隊尾；

(3)在網絡文件系統的服務器端設置的網絡服務接口，用于上傳和下載數據塊內容，以及用于接收和應答客戶端消息，具體過程如下：

(3-1)當網絡文件系統服務器端接收到來自網絡文件系統客戶端待發送消息隊列中的文件元數據更新消息時，進行以下操作：

(3-1-1)從接收到的文件元數據更新消息中解析出文件的標識及該文件的元數據；

(3-1-2)判斷服務器端的上述文件元數據表中是否存在該文件標識，若已存在，則將與該文件標識相對應的元數據更新為上述步驟(3-1-1)中的元數據；若該文件標識為新標識，則在服務器端的上述文件元數據表中添加該文件標識及上述步驟(3-1-1)中的元數據；

(3-2)當服務器端接收到客戶端待發送消息隊列中的文件組成更新消息時，進行以下操作：

(3-2-1)從接收到的文件組成更新消息中解析出文件的標識以及每個數據塊的起始位置、數據塊大小和數據塊的標識；

(3-2-2)在服務器端的上述文件組成表中檢索屬于該文件的數據塊標識，且與該數據塊標識相對應的數據塊的起始位置處于新生成數據塊區域之內；

(3-2-3)在服務器端的上述數據塊索引表中分別將與檢索到的每個數據塊標識相對應的數據塊的引用次數減1，若引用次數變為0，則從服務器端的數據塊索引表中刪除該數據塊標識及與該數據塊標識相對應的數據塊的引用次數，從服務器端上刪除該數據塊內容；

(3-2-4)在服務器端的上述數據塊索引表中檢索上述步驟(3-2-1)的數據塊標識，若該數據塊標識已存在，則將與該數據塊標識相對應的數據塊的引用次數加1，若該數據塊標識為新標識，則通知客戶端上傳與該數據塊標識相對應的數據塊內容，接收客戶端上傳的數據塊的內容，在服務器端存儲該數據塊的內容，在服務器端的數據塊索引表中添加該數據塊的標識，并將與該數據塊標識相對應的數據塊的引用次數設置為1；

(3-3)當服務器端接收到客戶端待發送消息隊列中的文件刪除消息時，進行以下操作：

(3-3-1)從接收到的文件組成更新消息中解析出被刪除文件的標識；

(3-3-2)在服務器端的上述文件組成表中檢索屬于被刪除文件的所有數據塊標識；

(3-3-3)在服務器端的上述數據塊索引表中將與檢索到的每個數據塊標識相對應的數據塊的引用次數減1，若引用次數變為0，則從服務器端的數據塊索引表中刪除與該數據塊標識相對應的數據塊的引用次數，從服務器端刪除該數據塊內容；

(3-3-4)從服務器端的文件組成表中刪除屬于該被刪除文件的數據塊記錄；

(3-3-5)從服務器端的文件元數據表中刪除該被刪除文件的元數據。