[發明專利]一種數據同步方法及系統在審

申請號：	202011574539.X	申請日：	2020-12-28
公開（公告）號：	CN112527910A	公開（公告）日：	2021-03-19
發明（設計）人：	董漢舫	申請（專利權）人：	南京零鏡科技有限公司
主分類號：	G06F16/27	分類號：	G06F16/27;G06F16/25
代理公司：	北京中建聯合知識產權代理事務所(普通合伙) 11004	代理人：	王曉艷
地址：	210018 江蘇省南京市***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據同步方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明涉及數據處理技術領域，具體涉及一種數據同步方法及系統，通過同步數據拉取服務器對數據源進行業務邏輯處理，并為同步接口準備數據；對每一次開始增量同步前的數據，預設時間窗口值T_win；同步系統抽取數據，并持續跟蹤當前更新數據批次的最大值T_max；根據跟蹤情況將更新時間等于最大時間的數據先置于緩沖區，其余數據存入目標數據庫中；記錄最新一批數據的最新時間T_new,并判斷T_new與T_max數值關系；判斷決定將緩存區數據導入目標數據庫或繼續保留在緩存區，完成數據同步.本發明做到針對時間不準確的場景，也能在不修改和變動現有數據庫系統/裝置的前提下，完整地更新增量數據不遺漏，提高了同步系統的準確性。

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據同步方法及系統。

背景技術

目前，針對數據同步，業界有很多做法和方案，其中一種是針對數據量較大的數據庫，采用基于數據更新時間增量更新的方式，以避免每次數據同步時拉取全部的數據，造成網絡擁塞和數據庫負載增大，性能降低的負面影響。

但存在的問題是：此方法依賴于數據庫中數據記錄和數據庫服務器系統的更新時間字段值準確，假如數據時間戳不準確，或數據到達有延遲，就會造成數據同步遺漏。

在申請號為201810393721.1的發明專利中公開一種數據增量同步的方法、裝置、電子設備及存儲介質。該方法包括:接收客戶端自動觸發的同步請求;若所述同步請求中未包含待提交數據,則根據所述同步請求獲取增量數據,并將所述增量數據與最新的服務端版本號發送給客戶端.本發明實施例按照客戶端數據上傳的批次在服務端同步生成按時序自增的版本號來標識該批次上傳的數據,避免了時間戳可能引入的數據不同步的情況。

在申請號為201911053648.4的專利文件中公開一種節點間的數據同步方法，基于監控節點實現,首先在各節點進行實時增量同步部署,以實現各節點間的實時增量同步,實現了數據同步過程占用帶寬最小化,同時,監聽節點間的增量數據的傳輸過程,當增量數據傳輸失敗時,記錄增量數據傳輸失敗的信息,在此基礎上,便于由人工或機器監督傳輸失敗的增量數據,對其進行后續處理,因此保證了節點間數據同步的準確性。可見本發明提供的節點間的數據同步方法既保證了節點間數據同步的準確性,又減少了所需網絡帶寬.本發明還公開了一種節點間的數據同步裝置、數據同步設備及計算機可讀存儲介質,具有上述有益效果。

但上述技術都需要在被同步的數據庫/系統或設備上，增加對應的日志或增量數據統計裝置或程序，無法做到非侵入式地解決此問題。

所以，有必要提出一種新的數據同步優化的技術方案，做到針對時間不準確的場景，也能在不修改和變動現有數據庫系統/裝置的前提下，完整地更新增量數據不遺漏，以提高同步系統的準確性。

發明內容

針對現有技術的不足，本發明公開了一種數據同步方法及系統，用于解決傳統數據同步依賴于數據庫中數據記錄和數據庫服務器系統的更新時間字段值準確，假如數據時間戳不準確，或數據到達有延遲，就會造成數據同步遺漏的問題。

本發明通過以下技術方案予以實現：

第一方面，本發明公開一種數據同步方法，所述方法包括以下步驟：

S1通過同步數據拉取服務器對數據源進行業務邏輯處理，并為同步接口準備數據；

S2進入同步數據準備階段，對每一次開始增量同步前的數據，預設時間窗口值T_win；

S3進入數據同步階段，同步系統抽取數據，并持續跟蹤當前更新數據批次的最大值T_max；

S4根據跟蹤情況將更新時間等于最大時間的數據先置于緩沖區，其余數據存入目標數據庫中；

S5進入新的同步任務，記錄最新一批數據的最新時間T_new,并判斷T_new與T_max數值關系；

下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。