[發明專利]一種數據同步方法、裝置、系統及存儲介質

在審

• 申請號: 201911159486.2
• 申請日: 2019-11-22
• 公開（公告）號: CN112835862A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 洪亮;趙健博;陳林;趙博;于海洋
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/182;G06F9/50
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

本公開提供了一種數據同步的方法、裝置、系統及存儲介質，應用于同步服務器，所述方法包括：讀取分布式應用程序協調系統中的多個同步任務，每個所述同步任務包含任務分配對象，同步數據的源地址及目的地址；當存在多個所述同步任務的任務分配對象為所述同步服務器時，針對每個所述同步任務建立多組消費者線程和生產者線程；根據每個所述同步數據的源地址，啟動對應的消費者線程連接源同步對象進行同步數據讀取；根據每個所述同步數據的目的地址，啟動對應的生產者線程連接目的同步對象進行同步數據的寫入，以至少解決目前uReplicator集群無法實現多個集群之間數據同步的問題。

技術領域

本公開涉及信息處理技術領域，特別是涉及一種數據同步方法、裝置、系統及存儲介質。

背景技術

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據，是在現代網絡上的許多社會功能的一個關鍵因素。

在實際應用中，當一個消息系統Kafka集群將topic數據鏡像到另外一個Kafka集群時，需要借助Kafka集群中的MirroMaker的工具實現，由于MirroMaker工具不是集群化的服務，因此上述工具無法解決大量數據鏡像任務的場景。

為了實現大量數據鏡像任務，通常采用uReplicator集群實現，具體的，

在uReplicator集群中的Worker啟動之前，預先在配置文件中寫入一個源Kafka集群地址和一個目的Kafka集群地址，并且一個uReplicator集群配置文件中只會配置一個源Kafka集群地址和一個目的集群地址，因此當該集群啟動后，只能執行從固定源Kafka集群到固定目的Kafka集群的數據同步任務，由于在配置文件中不存在其他源Kafka集群地址和目的Kafka集群地址，因此不能連接到配置文件中不存在的源Kafka集群地址和目的Kafka集群地址，當然也就無法執行對應的數據鏡像任務，也就是說，對于配置文件中不存在的源Kafka集群地址和目的Kafka集群地址的數據鏡像任務，由于不知道集群地址，因此無法連接源集群進行消費，以及無法連接目的集群進行寫入。

此外，由于數據同步任務的源集群和目的集群是固定不變的：當搭建一個uReplicator集群后，那么該同步服務集群就只能負責從一個Kafka源集群鏡像到另外一個Kafka目的集群，無法進行大量數據同步，如果此時存在另外的源集群和目的集群的數據同步任務，那么需要重新搭建一個uReplicator集群。

發明內容

本公開提供了一種數據同步方法、裝置、系統及存儲介質，以至少解決目前uReplicator集群無法實現大量數據同步的問題。

為了解決上述問題，本公開公開了一種數據同步方法，應用于同步服務器，所述方法包括：

讀取分布式應用程序協調系統中的多個同步任務，每個所述同步任務包含任務分配對象，同步數據的源地址及目的地址；

當存在多個所述同步任務的任務分配對象為所述同步服務器時，針對每個所述同步任務建立多組消費者線程和生產者線程；

根據每個所述同步數據的源地址，啟動對應的消費者線程連接源同步對象進行同步數據讀取；

根據每個所述同步數據的目的地址，啟動對應的生產者線程連接目的同步對象進行同步數據的寫入。

進一步的，在所述根據每個所述同步數據的源地址，啟動對應的消費者線程連接源同步對象進行同步數據讀取之后，還包括；

將讀取的同步數據放入同步隊列中；

根據每個所述同步數據的目的地址，啟動對應的生產者線程連接目的同步對象進行同步數據的寫入，包括：

讀取所述同步隊列中的同步數據，根據所述同步數據對應的生產者線程，連接目的同步對象進行同步數據的寫入。