[發明專利]數據同步方法和系統

有效

• 申請號: 201210580436.3
• 申請日: 2012-12-28
• 公開（公告）號: CN103905397A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 李鐘偉;周小會
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張曉峰;宋志強

技術領域

本申請涉及計算機和互聯網數據處理技術領域，尤其涉及一種數據同步方法和系統。

背景技術

互聯網業務屬于海量請求業務，在提供互聯網服務時，某些基礎數據常常是各個業務類型都需要獲取的。目前通常是將基礎數據存儲在基礎數據查詢服務器中，各業務服務器通過用戶數據包協議（UDP，User?Datagram?Protocol）包查詢的方式從基礎數據查詢服務器獲取這些基礎數據。這種方式有兩方面的缺點：一方面，發往基礎數據查詢服務器的用于查詢基礎數據的查詢請求是巨量的，基礎數據查詢服務器處理查詢請求是個處理瓶頸；另一方面，這種UDP包查詢的方式會占用業務處理的時間，如果基礎數據查詢服務器處理查詢請求超時就會導致業務處理超時，增加了業務處理對外部服務的耦合性，降低了業務處理本身的可控性。

為了解決上述兩方面的缺點，目前對這類基礎數據的獲取常采用代理（Agent）查詢的技術方案。該代理查詢的技術方案主要包括：在各個業務服務器上安裝基礎數據的代理裝置，Agent定時獲取基礎數據的入口端（該入口端也稱為寫數據端，即寫入基礎數據的端點，通常是互聯網業務的主站）的基礎數據更新，并將獲取的基礎數據存儲在業務服務器的本地，業務服務器在需要查詢基礎數據時，通過調用本地應用程序接口（API接口）查詢基礎數據。這種采用代理（Agent）查詢的技術方案，把以往業務服務器對基礎數據查詢服務器的大量的讀請求轉為與入口端的少量寫請求的同步操作，解決了基礎數據查詢服務器海量查詢請求（讀請求）的瓶頸問題，同時，業務服務器通過本地調用API接口獲取基礎數據，而本地接口性能很高，基本不占用業務處理時間，大大降低對業務處理效率的影響。

對于所述業務處理器上的代理裝置與基礎數據入口端（本文簡稱數據入口端）的數據同步機制目前通常采用的是定時同步方式，即Angent（目的端）可以通過定時從源端（寫數據端）拉取數據的方式來同步源端的數據，例如可以定時通過crontab命令實現拉取數據，拉取的方式也有很多種，例如采用文件傳輸協議（FTP，File?Transfer?Protocol）、超文本傳輸協議（HTTP，Hypertext?transfer?protocol）拉取等。

但是，上述同步方式是定時同步，實時性太差，如果縮短定時同步的時間以增強實時性的話，則又會在每一次同步過程中同步大量已經同步過的數據，造成網絡帶寬的浪費。

發明內容

有鑒于此，本發明的主要目的在于提供一種數據同步方法和系統，以提高同步數據的實時性，降低對網絡帶寬的占用。

本發明的技術方案是這樣實現的：

一種數據同步方法，包括：

在目的端創建主內存；

增量同步過程，包括：源端記錄寫操作流水日志，該流水日志中包括寫操作的操作信息和流水號；并記錄和更新目的端的最新寫操作流水號；源端在判斷出本端最新寫操作流水號大于目的端的最新寫操作流水號后，將源端寫操作流水號大于目的端的最新寫操作流水號的寫操作信息實時推送到目的端，目的端收到寫操作信息后按照所述寫操作信息對本端主內存執行對應寫操作，并記錄本目的端主內存的寫操作流水號，并將最新的目的端主內存的寫操作流水號返回給源端。

一種數據同步系統，包括：

內存創建模塊，設置在目的端，用于在目的端創建主內存；

操作流水日志模塊，設置在源端，用于記錄源端的寫操作流水日志，該流水日志中包括寫操作的操作信息和流水號；

源端同步模塊，用于記錄和更新目的端的最新寫操作流水號，并在判斷出源端最新寫操作流水號大于目的端的最新寫操作流水號后，將源端寫操作流水號大于目的端的最新寫操作流水號的寫操作信息實時推送到目的端；

目的端同步模塊，用于接收源端同步模塊推送來的寫操作信息，按照所述寫操作信息對本端主內存執行對應寫操作以更新該主內存中的數據，并記錄本目的端主內存的寫操作流水號，將最新的目的端主內存的寫操作流水號返回給源端同步模塊。

與現有技術相比，本發明在源端記錄本端寫操作流水號和目的端的寫操作流水號，在目的端維護本目的端的寫操作流水號，并將目的端最新的寫操作流水號返回給源端，源端以目的端返回的流水號更新本端維護的目的端的寫操作流水號，并根據源端寫操作流水號和目的端最新寫操作流水號的差異來判斷增量的寫操作，將這些增量的寫操作實時同步給目的端，從而實現實時增量同步數據，提高了同步數據的實時性，同時由于每次只同步增量數據，還可以降低對網絡帶寬的占用。

附圖說明