[發明專利]一種數據同步方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202111093743.4
• 申請日: 2021-09-17
• 公開（公告）號: CN113918630A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 董萍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/245
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 丁月蓉

本申請適用于數據處理技術領域，提供一種數據同步方法、裝置、計算機設備及存儲介質，其中方法包括：向目標數據庫中發送數據主鍵查詢指令，獲取所述目標數據庫反饋的所述目標數據記錄對應的主鍵信息；基于所述主鍵信息，生成數據查詢語句，將所述數據查詢語句發送至源數據庫中，獲取所述源數據庫輸出的所述目標數據，將所述目標數據寫入至所述目標數據庫中，減少對源數據庫的數據處理性能的占用，不影響源數據庫的數據查詢響應速度。

技術領域

本申請屬于數據處理技術領域，尤其涉及一種數據同步方法、裝置、計算機設備及存儲介質。

背景技術

近年來，智能投研利用科技手段輔助金融投資研究與決策，由于可降低交易成本、提高投研效率、增強分析精準度、排除隱藏風險等多種優勢迅速受到金融機構青睞，在資產管理領域發揮著越來越重要的作用，能夠大幅提升金融市場海量原始數據的效用和價值。

目前智能投研應用時，需要將源數據庫中存儲的大量原始數據同步至下游數據庫中以進行數據分析利用，目前源數據庫主要采用oracle異構數據庫，基于oracle異構數據庫進行數據同步的方案有OGG(Oracle Golden Gate，甲骨文金門)方案。該方案主要是源數據庫通過解析Oracle數據庫的歸檔日志，將每個數據變更抽取為一個變更事件，將該變更事件寫入到消息隊列中，下游數據庫解析每個數據變更事件，將其轉換為下游數據庫中數據的insert、update、delete操作，同步更新下游數據庫表。

該方案優勢是可以滿足數據同步的實時性，但劣勢是由于源數據庫需要頻繁的抽取數據變更事件，較多地占用源數據庫的數據處理性能，降低源數據庫的數據查詢響應速度。

發明內容

本申請實施例提供了一種數據同步方法、裝置、計算機設備及存儲介質，以解決現有技術中數據庫間的數據同步方法較多地占用源數據庫的數據處理性能，降低源數據庫的數據查詢響應速度的問題。

本申請實施例的第一方面提供了一種數據同步方法，包括：

向目標數據庫中發送數據主鍵查詢指令，所述數據主鍵查詢指令用于指示所述目標數據庫查找目標數據記錄對應的主鍵信息；

獲取所述目標數據庫反饋的所述目標數據記錄對應的主鍵信息；

基于所述主鍵信息，生成數據查詢語句，將所述數據查詢語句發送至源數據庫中，所述數據查詢語句用于指示所述源數據庫查找與所述主鍵信息具有存儲時間關聯性的目標數據，所述存儲時間關聯性包括存儲時間位于所述主鍵信息對應的所述目標數據記錄的存儲時間之后；

獲取所述源數據庫輸出的所述目標數據，將所述目標數據寫入至所述目標數據庫中。

本申請實施例的第二方面提供了一種數據同步裝置，包括：

第一發送模塊，用于向目標數據庫中發送數據主鍵查詢指令，所述數據主鍵查詢指令用于指示所述目標數據庫查找目標數據記錄對應的主鍵信息；

獲取模塊，用于獲取所述目標數據庫反饋的所述目標數據記錄對應的主鍵信息；

第二發送模塊，用于基于所述主鍵信息，生成數據查詢語句，將所述數據查詢語句發送至源數據庫中，所述數據查詢語句用于指示所述源數據庫查找與所述主鍵信息具有存儲時間關聯性的目標數據，所述存儲時間關聯性包括存儲時間位于所述主鍵信息對應的所述目標數據記錄的存儲時間之后；

數據寫入模塊，用于獲取所述源數據庫輸出的所述目標數據，將所述目標數據寫入至所述目標數據庫中。

本申請實施例的第三方面提供了一種終端，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如第一方面所述方法的步驟。