[發明專利]數據的同步方法及裝置、存儲介質及電子裝置

有效

• 申請號: 202010281618.5
• 申請日: 2020-04-10
• 公開（公告）號: CN111400407B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 陶程飛;何林強
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/22
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

1.一種數據的同步方法，其特征在于，包括：

在預定消息系統中查詢預定主題topic的最新更新記錄，其中，所述預定主題topic用于記錄源表中的數據；

基于所述最新更新記錄篩選所述源表中的增量數據，將增量數據寫入所述預定主題topic中，以得到目標topic；

將所述目標topic中記錄的所述增量數據同步到目標表中；

其中，基于所述最新更新記錄篩選所述源表中的增量數據，將增量數據寫入所述預定主題topic中，以得到目標topic包括：

在確定所述最新更新記錄為空時，將所述源表的全量數據確定為所述增量數據，并將所述增量數據寫入所述預定主題topic中，以得到所述目標topic；

在確定所述最新更新記錄不為空時，基于所述最新更新記錄中記錄的目標遞增序列字段值篩選所述源表中的增量數據，并將所述增量數據寫入所述預定主題topic中，以得到所述目標topic。

2.根據權利要求1所述的方法，其特征在于，基于所述最新更新記錄中記錄的目標遞增序列字段值篩選所述源表中的增量數據包括：

將所述源表中記錄的位于所述目標遞增序列字段值之后的數據，確定為所述源表中的增量數據。

3.根據權利要求1所述的方法，其特征在于，將所述目標topic中記錄的所述增量數據同步到目標表中包括：

將所述目標topic中記錄的數據插入至所述目標表中；

在確定存在主鍵沖突的情況下，刪除所述目標表中出現沖突的主鍵對應的記錄；

在所述目標表中重新插入所述目標topic中記錄的與所述出現沖突的主鍵對應的數據。

4.根據權利要求1所述的方法，其特征在于，在預先創建的預定消息系統中查詢預定主題topic的最新更新記錄之前，所述方法還包括：

為所述源表創建同步任務；

為所述同步任務分配唯一序列；

在所述預定消息系統中創建與所述序列同名的所述預定主題topic。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述預定消息系統包括kafka。

6.一種數據的同步裝置，其特征在于，包括：

查詢模塊，用于在預定消息系統中查詢預定主題topic的最新更新記錄，其中，所述預定主題topic用于記錄源表中的數據；

處理模塊，用于基于所述最新更新記錄篩選所述源表中的增量數據，將增量數據寫入所述預定主題topic中，以得到目標topic；

同步模塊，用于將所述目標topic中記錄的所述增量數據同步到目標表中；

其中，所述處理模塊包括：

第一處理單元，用于在確定所述最新更新記錄為空時，將所述源表的全量數據確定為所述增量數據，并將所述增量數據寫入所述預定主題topic中，以得到所述目標topic；

第二處理單元，用于在確定所述最新更新記錄不為空時，基于所述最新更新記錄中記錄的目標遞增序列字段值篩選所述源表中的增量數據，并將所述增量數據寫入所述預定主題topic中，以得到所述目標topic。

7.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行所述權利要求1至5任一項中所述的方法。

8.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行所述權利要求1至5任一項中所述的方法。