[發明專利]一種分布式數據同步方法及系統

有效

• 申請號: 202111182181.0
• 申請日: 2021-10-11
• 公開（公告）號: CN113901141B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王濟平;黎剛;劉繼華;周健雄;湯克云;謝曉鋒
• 申請（專利權）人: 京信數據科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F9/48
• 代理公司: 深圳余梅專利代理事務所(特殊普通合伙) 44519
• 代理人: 陳余才

1.一種分布式數據同步方法，其特征在于，其包括以下步驟：

調度器向源數據庫查詢是否需要進行同步任務，并根據查詢結果彈性調整調度器查詢間隔時間：若不需要進行同步任務，則增大調度器查詢間隔時間，若需要進行同步任務，則減小調度器查詢間隔時間；當查詢到需要進行同步任務時，調度器查詢當前是否已有正在進行的其他同步任務：若沒有，則馬上發起同步任務；若有，則根據預設調度策略進行任務安排；所述預設調度策略至少包括：順序執行策略、丟棄策略和強制執行策略；

調度器選擇同步組件集群中的其中一個同步組件執行任務：調度器根據同步組件集群狀態及預設分配策略去選擇同步組件執行任務，所述預設分配策略至少包括：順序分配策略、負載最低策略以及隨機策略；

同步組件進行任務切分并采用多個并發線程處理；

同步組件從源數據庫讀取同步數據集并進行數據處理；

同步組件生成臨時唯一標識替換同步數據集的原有唯一標識，將同步數據集批量寫入目標數據庫后刪除目標數據庫中有更新的舊數據記錄，最后批量還原同步數據集的原有唯一標識。

2.如權利要求1所述的方法，其特征在于，同步組件接收到調度器下發的同步任務后，同步組件推算出同步任務所需并發線程數，并根據并發線程數將同步任務切分成對應的小任務，最后采用對應的多個并發線程并行處理這些小任務。

3.如權利要求1所述的方法，其特征在于，同步組件根據源數據庫的唯一標識類型生成臨時唯一標識以替換同步數據集的原有唯一標識，同步數據集的原有唯一標識被存在預設臨時字段中。

4.如權利要求1或3所述的方法，其特征在于，若同步任務出現異常而終止，則根據臨時唯一標識全部移除同步數據集，還原執行同步任務前的目標數據庫狀態。

5.一種分布式數據同步系統，其特征在于，其包括調度器及同步組件集群；

所述調度器用于向源數據庫查詢是否需要進行同步任務，并根據查詢結果彈性調整調度器查詢間隔時間：若不需要進行同步任務，則增大調度器查詢間隔時間，若需要進行同步任務，則減小調度器查詢間隔時間；當查詢到需要進行同步任務時，調度器查詢當前是否已有正在進行的其他同步任務：若沒有，則馬上發起同步任務；若有，則根據預設調度策略進行任務安排；所述預設調度策略至少包括：順序執行策略、丟棄策略和強制執行策略；

所述調度器還用于選擇同步組件集群中的其中一個同步組件執行任務：調度器根據同步組件集群狀態及預設分配策略去選擇同步組件執行任務，所述預設分配策略至少包括：順序分配策略、負載最低策略以及隨機策略；

所述同步組件用于進行任務切分并采用多個并發線程處理；

所述同步組件還用于從源數據庫讀取同步數據集并進行數據處理；

所述同步組件還用于生成臨時唯一標識替換同步數據集的原有唯一標識，將同步數據集批量寫入目標數據庫后刪除目標數據庫中有更新的舊數據記錄，最后批量還原同步數據集的原有唯一標識。

6.如權利要求5所述的系統，其特征在于，所述同步組件還用于根據源數據庫的唯一標識類型生成臨時唯一標識以替換同步數據集的原有唯一標識，同步數據集的原有唯一標識被存在預設臨時字段中。