[發明專利]一種分布式數據同步方法及系統

有效

• 申請號: 202111182181.0
• 申請日: 2021-10-11
• 公開（公告）號: CN113901141B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王濟平;黎剛;劉繼華;周健雄;湯克云;謝曉鋒
• 申請（專利權）人: 京信數據科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F9/48
• 代理公司: 深圳余梅專利代理事務所(特殊普通合伙) 44519
• 代理人: 陳余才

本發明涉及一種分布式數據同步方法及系統。方法包括步驟：調度器向源數據庫查詢是否需要進行同步任務，并根據查詢結果彈性調整調度器查詢間隔時間；調度器選擇同步組件集群中的其中一個同步組件執行任務；同步組件進行任務切分并采用多個并發線程處理；同步組件從源數據庫讀取同步數據集并進行數據處理；同步組件生成臨時唯一標識替換同步數據集的原有唯一標識，然后將同步數據集批量寫入目標數據庫后刪除目標數據庫中有更新的舊數據記錄，最后批量還原同步數據集的原有唯一標識。本發明使得整個數據同步的性能得到極大提升。

技術領域

本發明涉及數據同步技術，尤其涉及一種分布式數據同步方法及系統。

背景技術

數據同步是一種在多個數據源之間保持數據一致性的一種手段，廣泛應用于各種計算機系統中。數據同步有以下幾種常見的應用場景：一、計算機系統通過數據同步實現容災備份，避免單點故障；二、計算機系統通過數據同步實現系統負載均衡，提高系統性能；三、多個系統之間通過數據同步的方式實現數據共享。數據同步一般有兩種實現方式，一種是通過讀取數據庫BinLog文件，獲取里面的修改操作語句并發送至待同步數據庫執行，實現數據同步。第二種方式是基于查詢語句，查詢源數據庫的記錄，解構為數據庫操作語句后在待同步數據庫執行，實現數據同步。傳統的數據抽取同步方法采用定時查詢源數據表，通過時間戳過濾的方式，查詢上次同步后是否有新的數據寫入源數據表。當發現有新數據時，開始執行同步任務，通過查詢語句查詢源數據表增量數據，將增量數據轉譯為數據庫操作語句，在目標數據庫執行相應的數據庫操作語句實現數據庫同步。第二種方式也稱為基于數據抽取的數據同步方式。傳統的基于數據抽取的數據同步方法有以下幾個缺點：

(1)基于數據抽取的數據同步一般采用定時查詢的方式來判斷源庫是否需要執行同步操作。頻繁的查詢在滿足較低的同步延遲的同時，為源數據庫與同步中間件帶來較大的性能損耗，相反如果降低查詢密度，會加大同步延遲，很難同時滿足兩種需求。

(2)傳統的數據抽取沒有辦法利用現代計算機多核心的優勢，抽取效率比較低下。

(3)傳統的數據抽取中間件沒有辦法同時處理大量的同步任務，當需要同步的數據表變得非常多的時候，會出現同步延遲增大甚至系統崩潰的問題。

(4)傳統的數據抽取中間件當寫入目標數據表出現異常時，沒有辦法回滾本次同步任務的傳輸內容，導致目標數據表出現臟數據。

發明內容

本發明的目的在于為克服現有技術的以上缺陷，而提供一種分布式數據同步方法及系統，以提高數據同步的性能。

為實現上述目的，本發明采用以下技術方案：一種分布式數據同步方法，其包括以下步驟：調度器向源數據庫查詢是否需要進行同步任務，并根據查詢結果彈性調整調度器查詢間隔時間；調度器選擇同步組件集群中的其中一個同步組件執行任務；同步組件進行任務切分并采用多個并發線程處理；同步組件從源數據庫讀取同步數據集并進行數據處理；同步組件生成臨時唯一標識替換同步數據集的原有唯一標識，將同步數據集批量寫入目標數據庫后刪除目標數據庫中有更新的舊數據記錄，最后批量還原同步數據集的原有唯一標識。

進一步地，調度器向源數據庫查詢是否需要進行同步任務時，查詢的過濾條件采用時間戳過濾。

進一步地，調度器向源數據庫查詢是否需要進行同步任務時，若不需要進行同步任務，則增大調度器查詢間隔時間，若需要進行同步任務，則減小調度器查詢間隔時間。

進一步地，當查詢到需要進行同步任務時，調度器查詢當前是否已有正在進行的其他同步任務：若沒有，則馬上發起同步任務；若有，則根據預設調度策略進行任務安排；預設調度策略至少包括：順序執行策略、丟棄策略和強制執行策略。

進一步地，調度器選擇同步組件集群中的其中一個同步組件執行任務中，調度器根據同步組件集群狀態及預設分配策略去選擇同步組件執行任務，預設分配策略至少包括：順序分配策略、負載最低策略以及隨機策略。