[發明專利]一種基于內容分塊的遠程文件實時更新方法

有效

• 申請號: 201410029703.7
• 申請日: 2014-01-22
• 公開（公告）號: CN103729225A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 廖湘科;李珊珊;劉曉東;彭紹亮;謝欣偉;賈周陽;董德尊;張菁;林彬;孔志印;劉磊
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F9/445
• 分類號: G06F9/445;H04L29/08
• 代理公司: 國防科技大學專利服務中心 43202
• 代理人: 郭敏

技術領域

本發明涉及分布式存儲系統中數據更新方法，尤其指支持廣域網級應用的分布式存儲系統中的數據更新方法。

背景技術

隨著云存儲的快速發展，存儲技術正在發生革命性的變化。傳統文件系統已無法滿足海量數據存儲的需求，分布式存儲系統應運而生。典型的分布式存儲系統包括主從結構的分布式文件系統如Google公司的GFS（Google?File?System）、開源項目Hadoop的HDFS，以及扁平式環形結構的key-value存儲系統如Amazon公司的Dynamo、Facebook公司的Cassandra等。

分布式存儲系統在存儲容量、可擴展性、可靠性以及性能等方面表現出了特有的優勢，因而在海量數據處理中的應用越來越廣泛，正逐漸演變成企業IT框架的一個部分。然而，現有的主流分布式存儲系統雖然在大容量、可伸縮性等方面能夠提供很好支持，但也存在諸多問題，目前主流的分布式存儲系統，如GFS、HDFS等，大部分文件的更新是通過添加新數據完成的，而不是改變已存在的數據，即只支持文件的追加操作，而不支持文件的隨機寫。

CDC是基于內容分塊(content-defined?chunking)的簡稱，是重復數據刪除技術中所廣泛采用的一種檢測不同文件中相同數據內容的技術。其基本思想是基于文件內容對文件進行分塊，從而能夠最大限度地檢測出不同文件中的相同內容。其基本方法是用一個固定大小的滑動窗口從頭到尾掃描文件內容，每次移動窗口都采用RabinFingerpring算法（Broder?A?Z.的文章Some?applications?of?Rabin’s?fingerprinting?method所述）計算一個48位指紋序列，并將指紋與一個初始定義的指紋相比，若相等則從當前窗口處將文件斷開分塊。分塊的基礎是一段內容，即對比原文件產生的指紋和新文件產生的指紋，而不是固定的大小，從而可以最大限度地檢測出不同文件之中相同的數據塊?，F有的方法主要將更新文件完全發回分布式存儲系統，會加重網絡傳輸開銷和影響存儲系統的IO網絡性能，尤其是在IO訪問量較大的情況。

如何解決分布式存儲系統更新開銷高，普遍不支持文件隨機寫的問題是本領域技術人員關注的重要技術問題，有效減少文件更新過程中的網絡傳輸開銷，可應用于支持廣域網級應用的分布式存儲系統，但目前主流的GFS、HDFS等分布式存儲系統也存在著不足，只支持文件的追加操作，而不支持文件的隨機寫。

發明內容

本發明要解決的技術問題是為支持廣域網級應用的分布式存儲系統提供一種低網絡傳輸開銷的文件增量更新方法，使得分布式存儲系統能以較低的開銷支持文件隨機寫。為方便描述，記在云端服務器存貯的原文件為F_old，用戶更新后文件為F_new。

本發明的技術方案包括以下步驟：

第一步，對F_old文件分塊存儲。為了在文件更新過程中減少通過網絡傳輸的數據量，將文件分塊存儲，在文件內容發生變化的時候，對比更新前后的文件內容，確定發生變化的數據塊，在更新時只傳輸發生變化的數據塊，減少傳輸的數據量，降低網絡傳輸開銷，提高文件更新的效率。

采用固定大小分塊的策略將文件分成n塊，按順序將文件從前往后劃分成大小相同的數據塊，數據塊的大小K可根據應用不同設置，默認K是2M，記每一個數據塊為chunk₁、chunk₂、…、chunk_n，最后一個數據塊chunk_n的大小小于或等于其他數據塊的大小，n為正整數，n＝L/K上取整，其中K為文件大小。