[發明專利]網絡節點之間數據同步的方法和系統

無效

• 申請號: 201010622155.0
• 申請日: 2010-12-31
• 公開（公告）號: CN102065098A
• 公開（公告）日: 2011-05-18
• 發明（設計）人: 洪珂;劉愛貴;劉成彥
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/56
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 施浩

1.一種網絡節點之間數據同步的方法，包括以下的步驟：

步驟一：客戶端向服務器發送將同步文件的請求；

步驟二：客戶端采用變長數據塊切分方法將第一文件分割成大小不等的數據塊，為每個數據塊計算弱校驗和強校驗；

步驟三：服務器接收到同步請求后，采用與客戶端相同的變長數據塊切分方法將第二文件分割成大小不等的數據塊，并采用和客戶端相同的校驗計算方式為每個數據塊計算弱校驗和強校驗，步驟三和步驟二是同時進行的；

步驟四：服務器向客戶端發送第二文件的數據塊的弱校驗值和強校驗值；

步驟五：在客戶端接收到數據塊的弱校驗值和強校驗值后，通過哈希算法查找第一文件中已經具有的第二文件中的數據塊，并對缺失的數據塊集合進行重復數據刪除，然后向服務器請求不重復的缺失數據塊；

步驟六：服務器向客戶端發送所請求的數據塊；

步驟七：客戶端接收到所需的數據塊后，利用接收到的數據塊和已經具有的數據塊，重構出第二文件的副本。

2.根據權利要求1所述的網絡節點之間數據同步的方法，其特征在于，在步驟四中，啟用數據壓縮來傳輸數據塊校驗值，對應的在步驟五中，需要先解壓縮再做后續處理。

3.根據權利要求1所述的網絡節點之間數據同步的方法，其特征在于，在步驟六中，服務器啟用數據壓縮的方式傳輸所請求的數據塊，對應的在步驟七中，需要先對壓縮數據進行解壓縮的操作。

4.根據權利要求1所述的網絡節點之間數據同步的方法，其特征在于，客戶端和服務器對數據塊的弱校驗是滾動弱校驗，客戶端和服務器對數據塊的強校驗是MD5校驗。

5.根據權利要求1所述的網絡節點之間數據同步的方法，其特征在于，步驟二和步驟三中的變長數據塊切分方法包括如下的步驟：

計算緩沖區空閑空間大小，從文件讀取相應數據填充緩沖區；

判斷是否為最后一個數據塊，如果是則在處理最后一個數據塊后流程結束，如果不是則判斷緩沖區的剩余空間是否足夠，如果空間不夠則返回讀取數據填充緩沖區的步驟，如果空間足夠則計算窗口數據塊指紋；

判斷窗口數據塊指紋是否滿足條件，如果滿足條件則處理正常數據塊，如果不滿足條件則處理非正常數據塊；

進行緩沖區和窗口的數據處理，然后返回判斷緩沖區剩余空間是否足夠的步驟。

6.一種網絡節點之間數據同步的系統，包括客戶端裝置和服務器裝置，其中客戶端裝置包括同步文件請求發送模塊、客戶端數據塊切分模塊、客戶端數據塊校驗模塊、數據塊校驗值接收模塊、缺失數據塊查找模塊、數據塊接收模塊以及文件重構模塊，服務器裝置包括同步文件請求接收模塊、服務器數據塊切分模塊、服務器數據塊校驗模塊、數據塊校驗值發送模塊、數據塊發送模塊，其中：

同步文件請求發送模塊，由客戶端向服務器發送同步文件請求；

客戶端數據塊切分模塊，客戶端采用變長數據塊切分方法將第一文件分割成大小不等的數據塊；

客戶端數據塊校驗模塊，耦接客戶端數據塊切分模塊，為每個分割后的數據塊計算弱校驗和強校驗；

同步文件請求接收模塊，和同步文件請求發送模塊建立通訊連接，由服務器接收來自客戶端的同步文件請求；

服務器數據塊切分模塊，耦接同步文件請求接收模塊，在服務器接收到同步請求后采用與客戶端數據塊切分模塊相同的數據塊切分方法將第二文件分割成大小不等的數據塊；

服務器數據塊校驗模塊，耦接服務器數據塊切分模塊，采用和客戶端數據塊校驗模塊相同的數據塊校驗方法計算服務器分割后的數據塊的弱校驗和強校驗；

數據塊校驗值發送模塊，耦接服務器數據塊校驗模塊，將服務器分割后的數據塊的弱校驗值和強校驗值發送到客戶端；

數據塊校驗值接收模塊，接收來自服務器發送的弱校驗值和強校驗值；

缺失數據塊查找模塊，耦接數據塊校驗值接收模塊，通過哈希算法查找第一文件中已經具有的第二文件中的數據塊，對缺失的數據塊集合進行重復數據刪除，向服務器請求不重復的缺失數據塊；

數據塊發送模塊，服務器向客戶端發送所請求的數據塊；

文件重構模塊，接收來自數據塊發送模塊的數據塊，重構出第二文件的副本。