[發明專利]表同步方法、裝置、設備、存儲介質及系統

有效

• 申請號: 201910990117.1
• 申請日: 2019-10-17
• 公開（公告）號: CN111177144B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 黃達毅;孫亮;屈政斌;鐘和旺
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/27
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

本申請公開了一種表同步方法、裝置、設備、存儲介質及系統，在該方法中，按照待同步的源表中各條記錄的先后順序，從源表中未被讀取的記錄中讀取候選記錄；檢測候選記錄在最近一次同步到目的表之后是否存在數據更新；在候選記錄存在數據更新的情況下，將候選記錄確定為待同步的目標記錄；在從源表讀取到設定數量條該目標記錄的情況下，將該設定數量條目標記錄同步到該目的表；在將該設定數量條目標記錄同步到該目的表之后，返回執行該從該源表中未被讀取的記錄中讀取待處理的候選記錄的操作，直至完成從該源表到該目的表的數據同步。本申請的方案有利于減低源表的數據庫在短時間內出現較大的性能開銷，并有利于減少表同步所耗費的網絡資源。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種表同步方法、裝置、設備、存儲介質及系統。

背景技術

表同步，是指將一個表A中的數據同步到另一個表B，使得表B中記錄的數據與表A中記錄的數據一致。其中，表A為表同步中的源表，而表B就是表同步中的目的表。

在從源表到目的表的數據同步過程中，需要從源表的數據庫中讀取該源表的數據，并將讀取出的數據存儲到目的數據庫的目的表中。而由于數據庫的表中包含的數據量較大，因此，在從源表到目的表的數據同步時，需要讀取以及傳輸的數據量較大，導致源表的數據庫出現較大的性能開銷，且耗費了較多的網絡資源。

發明內容

有鑒于此，本申請提供了一種表同步方法、裝置、設備、存儲介質及系統，以降低表同步過程中短時間內讀取的數據量以及通過網絡傳輸的總數據量，有利于避免源表所在的數據庫在短時間內出現較大的性能開銷，并有利于減少表同步所需耗費的網絡資源。

為實現上述目的，一方面，本申請提供了一種表同步方法，包括：

按照待同步的源表中各條記錄的先后順序，從所述源表中未被讀取的記錄中讀取待處理的候選記錄；

檢測所述候選記錄在最近一次同步到目的表之后是否存在數據更新；

在所述候選記錄存在所述數據更新的情況下，將所述候選記錄確定為待同步的目標記錄；

在從所述源表讀取到設定數量條所述目標記錄的情況下，將所述設定數量條目標記錄同步到所述目的表；

在將所述設定數量條目標記錄同步到所述目的表之后，返回執行所述從所述源表中未被讀取的記錄中讀取待處理的候選記錄的操作，直至完成從所述源表到所述目的表的數據同步。

在一種可能的情況中，所述檢測所述候選記錄在最近一次同步到目的表之后是否存在數據更新，包括：

獲取所述候選記錄關聯的歷史狀態信息，所述歷史狀態信息用于表征在所述候選記錄最近一次同步到所述目的表時，所述候選記錄中的歷史數據；

依據所述歷史狀態信息和所述候選記錄中當前的數據，檢測所述候選記錄在最近一次同步到目的表之后是否存在數據更新。

在又一種可能的情況中，所述獲取所述候選記錄關聯的歷史狀態信息，包括：

獲取所述候選記錄關聯的歷史指紋，所述歷史指紋為利用設定算法將所述候選記錄中包含的歷史數據進行轉換得到的，所述歷史數據為在最近一次將所述候選記錄同步到所述目的表時，所述候選記錄中記錄的數據；

所述依據所述歷史狀態信息和所述候選記錄中當前的數據，檢測所述候選記錄在最近一次同步到目的表之后是否存在數據更新，包括：

利用所述設定算法將所述候選記錄中當前的數據轉換為指紋；

比對所述指紋與所述歷史指紋是否一致，其中，如所述指紋與所述歷史指紋不一致，則表征所述候選記錄在最近一次同步到所述目的表之后存在數據更新。

又一方面，本申請還提供了一種表同步系統，包括：