[發明專利]一種數據同步方法和裝置

有效

• 申請號: 201710357020.8
• 申請日: 2017-05-19
• 公開（公告）號: CN107798039B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 李剛;趙莫言
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/23
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 陳宇

一種數據同步方法包括：獲取同步工具中設置的需要循環等待的前置條件，以及獲取所述前置條件的循環等待時長；根據預先存儲的所述前置條件與循環執行時長的對應關系，判斷所述前置條件的循環等待時長是否大于或等于所預設的循環執行時長；當所述前置條件的循環等待時長大于或等于所述循環執行時長時，向所述同步工具發送結束指令。本方法使得同步工具的循環等待操作可以及時有效的關閉，有利于提高工作人員操作的便利性。

技術領域

本發明屬于數據處理領域，尤其涉及一種數據同步方法和裝置。

背景技術

為了保證數據的安全需要，或者為了實現不同位置的數據庫的數據共享要求，通常會使用到數據庫同步技術，將一個數據庫中的數據傳送至其它數據庫。比如，將分布在各個終端的數據庫中的數據，同步到備份服務器中數據庫，可以對各個終端的數據進行備份，還可以對數據進行匯總，方便對匯總后的數據進行查詢或其它處理。

在對數據進行同步處理時，一般會采用成熟的數據倉庫工具，比如KETTLE工具等，通過使用同步工具的圖形界面的各個組件，將數據從源端經過抽取、轉換、加載至目的端。在使用現有的數據倉庫工具進行數據同步時，一般會設置工具組件的前置條件。比如循環檢測某個前置的數據是否接收完成，如果沒有完成前置條件，則同步工具一直會處于循環等待狀態，需要用戶手動的關閉開關，操作較為麻煩，而且時效性較性。

發明內容

本發明的目的在于提供一種數據同步方法，以解決現有技術使用圖形界面的同步工具時，如果設置的前置條件沒有完成，則會一直牌循環等待狀態，用戶手動關閉操作較為麻煩，而且時效性差的問題。

第一方面，本發明實施例提供了一種數據同步方法，所述方法包括：

獲取同步工具中設置的需要循環等待的前置條件，以及獲取所述前置條件的循環等待時長；

根據預先存儲的所述前置條件與循環執行時長的對應關系，判斷所述前置條件的循環等待時長是否大于或等于所預設的循環執行時長；

當所述前置條件的循環等待時長大于或等于所述循環執行時長時，向所述同步工具發送結束指令。

結合第一方面，在第一方面的第一種可能實現方式中，當所述前置條件滿足預設的數據同步要求時，所述方法還包括：

在上一次同步時間點至當前時間點所在的時間段內，記錄源數據庫中發生變化的數據；

將所記錄的源數據庫中發生變化的數據通過所述同步工具發送至目標數據庫。

結合第一方面或第一方面的第一種可能實現方式，在第一方面的第二種可能實現方式中，在所述根據預先存儲的所述前置條件與循環執行時長的對應關系，判斷所述前置條件的循環等待時長是否大于或等于所預設的循環執行時長的步驟之前，所述方法還包括：

獲取同步任務的完成期限，以及所述同步任務所需要同步的數據類型和數據量；

根據預先統計的數據類型的同步速度，計算完成所述同步任務所需要的估算時長；

根據所述同步任務的完成期限以及所述同步估算時長，確定所述循環等待時長。

結合第一方面的第一種可能實現方式，在第一方面的第三種可能實現方式中，所述記錄源數據庫中發生變化的數據的步驟包括：

通過觸發器監測所述源數據庫中的修改操作，所述觸發器包括插入觸發器、刪除觸發器、修改觸發器中的一種或者多種；

當監測到所述源數據庫中的數據發生修改時，將發生變化的數據緩存至同步存儲區。

結合第一方面的第一種可能實現方式，在第一方面的第四種可能實現方式中，所述監測源數據庫中發生變化的數據步驟包括：

所述記錄源數據庫中發生變化的數據的步驟包括：