[發明專利]數據同步方法和裝置、系統、存儲介質及電子裝置

在審

• 申請號: 202011339972.5
• 申請日: 2020-11-25
• 公開（公告）號: CN112417050A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 姚翔
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F9/54
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明提供了一種數據同步方法和裝置、系統、存儲介質及電子裝置，上述方法包括：通過數據庫中的變更數據捕獲組件，監聽所述數據庫中的數據變更事件，其中，所述數據變更事件用于指示將數據寫入到所述數據庫中；通過所述變更數據捕獲組件向訂閱系統發送第一通知消息，其中，所述第一通知消息用于指示所述訂閱系統對所述數據進行存儲；通過所述訂閱系統將所述數據發送給目標搜索系統以對所述目標搜索系統進行數據同步。通過本發明，解決了相關技術中數據同步所需時間較長的技術問題，降低了數據同步所需的時間，提高了數據同步的實時性。

技術領域

本發明涉及通信領域，具體而言，涉及一種數據同步方法和裝置、系統、存儲介質及電子裝置。

背景技術

隨著智能家電的普及，用戶可以使用終端中安裝的智能控制應用程序(Application，簡稱為APP)對智能家電設備進行控制，并可以通過該智能控制APP分享科技生活的方方面面的信息，以及通過該智能控制APP進行信息的檢索。相關技術中，用戶通過智能控制APP分享和上傳的信息存儲在數據庫中，數據庫將存儲的數據同步到搜索系統中，用戶進而可以通過智能控制APP在搜索系統中搜索到自己或其他用戶上傳的信息。然而在相關技術中，以數據庫為支持分布式數據存儲的TiDB數據庫為例，在進行TiDB數據庫與搜索系統之間的數據同步時，通常是通過TiDB Binlog組件收集各個TiDB數據庫實例產生的binlog日志，并按照事務提交的時間排序后將收集的binlog提交到搜索系統，搜索系統對收到的binlog進行解析后進行數據同步。然而，由于用戶上傳的數據是海量的，從而存在海量的binlog，海量binlog在生成、收集以及提交等各個環節都需要消耗一定的時間，并且存在丟失的風險，從而導致數據同步過程所需時間較長，導致數據同步效率較低。

針對相關技術中，數據同步所需時間較長的技術問題，尚未提出有效的技術方案。

發明內容

本發明實施例提供了一種數據同步方法和裝置、系統、存儲介質及電子裝置，以至少解決相關技術中數據同步所需時間較長的技術問題。

根據本發明的一個實施例，提供了一種數據同步方法，包括：通過數據庫中的變更數據捕獲組件，監聽所述數據庫中的數據變更事件，其中，所述數據變更事件用于指示將數據寫入到所述數據庫中；通過所述變更數據捕獲組件向訂閱系統發送第一通知消息，其中，所述第一通知消息用于指示所述訂閱系統對所述數據進行存儲；通過所述訂閱系統將所述數據發送給目標搜索系統以對所述目標搜索系統進行數據同步。

可選地，所述數據庫包括TiDB數據庫，所述通過數據庫中的變更數據捕獲組件，監聽所述數據庫中的數據變更事件，包括：通過所述TiDB數據庫中的監聽組件對所述TiDB數據庫的存儲層中執行的所述數據變更事件進行監聽；在所述監聽組件監聽到所述數據變更事件的情況下，向所述變更數據捕獲組件發送第二通知消息，其中，所述第二通知消息用于指示所述存儲層中寫入了所述數據。

可選地，所述通過所述訂閱系統將所述數據發送給目標搜索系統，包括：通過所述訂閱系統將所述數據發送給目標處理組件，其中，所述目標處理組件用于對所述數據進行處理得到處理后的數據，并將所述處理后的數據發送給所述目標搜索系統；其中，所述方法還包括：通過所述目標搜索系統對所述處理后的數據進行存儲。

可選地，所述目標處理組件包括抽取轉換加載組件，其中，在所述通過所述訂閱系統將所述數據發送給目標處理組件之后，所述方法還包括：通過所述抽取轉換加載組件對所述數據進行解析得到第一數據，并對所述第一數據進行去重后得到第二數據；將所述第二數據確定為所述處理后的數據。