[發明專利]一種數據同步方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202111093743.4
• 申請日: 2021-09-17
• 公開（公告）號: CN113918630A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 董萍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/245
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 丁月蓉

1.一種數據同步方法，其特征在于，包括：

向目標數據庫中發送數據主鍵查詢指令，所述數據主鍵查詢指令用于指示所述目標數據庫查找目標數據記錄對應的主鍵信息；

獲取所述目標數據庫反饋的所述目標數據記錄對應的主鍵信息；

基于所述主鍵信息，生成數據查詢語句，將所述數據查詢語句發送至源數據庫中，所述數據查詢語句用于指示所述源數據庫查找與所述主鍵信息具有存儲時間關聯性的目標數據，所述存儲時間關聯性包括存儲時間位于所述主鍵信息對應的所述目標數據記錄的存儲時間之后；

獲取所述源數據庫輸出的所述目標數據，將所述目標數據寫入至所述目標數據庫中。

2.根據權利要求1所述的方法，其特征在于，所述目標數據庫中包括按照設定時間粒度進行分區的數據表，不同的所述數據表的分區構建有分區索引，所述數據表中的數據具有依照存儲時間依次賦值的主鍵信息；

所述獲取所述目標數據庫反饋的所述目標數據記錄對應的主鍵信息，包括：

獲取所述目標數據庫基于所述數據主鍵查詢指令，依照所述數據表的分區索引及主鍵信息對應的所述存儲時間從所述數據表中匹配到的所述目標數據記錄；

提取所述目標數據記錄對應的主鍵信息。

3.根據權利要求1所述的方法，其特征在于，所述向目標數據庫中發送數據主鍵查詢指令，包括：

獲取數據同步指示信息，所述數據同步指示信息中包括存量數據同步信息及增量數據同步信息；

基于所述數據同步指示信息，結合所述增量數據同步信息生成用于指示所述目標數據庫查找存儲日期為最新的增量數據記錄對應的主鍵信息的數據主鍵查詢指令；

向目標數據庫中發送所述數據主鍵查詢指令。

4.根據權利要求3所述的方法，其特征在于，所述獲取數據同步指示信息之后，還包括：

基于所述數據同步指示信息中包括的所述存量數據同步信息，確定所述源數據庫中待同步的存量數據；

將所述存量數據導入至大數據平臺形成設定格式的中轉文件，并基于所述大數據平臺將所述中轉文件導出至所述目標數據庫。

5.根據權利要求1所述的方法，其特征在于，所述源數據庫中包括按照設定時間粒度進行分區的數據表，不同的所述數據表的分區構建有分區索引，所述數據表中的數據具有依照存儲時間依次賦值的主鍵信息。

6.根據權利要求5所述的方法，其特征在于，所述獲取所述源數據庫輸出的所述目標數據，將所述目標數據寫入至所述目標數據庫中，包括：

獲取所述源數據庫基于所述數據查詢語句，依照所述數據表的分區索引及主鍵信息對應的所述存儲時間從所述數據表中進行翻頁查詢后輸出的所述目標數據，所述目標數據中包括所述源數據庫分別輸出的與每次翻頁查詢對應的數據查詢結果；

每獲取到一次所述數據查詢結果，則將所述數據查詢結果寫入至所述目標數據庫中，直至所有的所述目標數據寫入完畢。

7.根據權利要求1所述的方法，其特征在于，還包括：

在獲取到不同客戶端的數據查詢指令時，基于所述數據查詢指令建立查詢指令隊列；

基于所述查詢指令隊列，依次將所述數據查詢指令輸出至所述目標數據庫中；

在獲取到所述目標數據庫基于所述數據查詢指令輸出的查詢數據時，對所述查詢數據進行緩存得到數據緩存列表；

將所述數據緩存列表中的所述查詢數據分別與所述數據查詢指令進行關鍵信息匹配，獲取與不同的所述數據查詢指令對應的匹配數據；

將所述匹配數據對應輸出至發送所述數據查詢指令的客戶端。