[發明專利]數據同步方法、裝置以及電子設備

有效

• 申請號: 201711083268.6
• 申請日: 2017-11-07
• 公開（公告）號: CN110019514B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 唐治洋;盧毅軍;陶云峰
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/18
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁;竇曉慧

本申請公開了一種數據同步方法，包括：通知日志隊列有新集群加入數據同步；將已同步集群的第一數據存儲空間存儲的特征數據同步到所述新集群的第二數據存儲空間中，以及通過所述新集群讀取所述日志隊列中的日志；將讀取到的日志合并到所述第二數據存儲空間中。所述數據同步方法，針對新加入數據同步的新集群，將已同步集群的數據同步到新集群，使新集群與已同步集群的數據保持一致；此外，讀取日志隊列中的日志合并到新集群，從而使新集群與已同步集群以及日志隊列的數據在整體上保持一致，確保數據一致性。

技術領域

本申請涉及數據同步技術領域，具體涉及一種數據同步方法。本申請同時涉及一種數據同步裝置，另一種數據同步方法以及裝置，以及兩種電子設備。

背景技術

隨著云計算的發展，越來越多的業務需求要求一種更強大的用于數據存儲的數據中心，并且要求數據中心具有較強的高可用性，能夠最大程度的減少甚至消除系統故障對正常業務的影響，因此，建立多個數據中心實現業務容災成為必然選擇，這些數據中心之間的數據同步成為實現業務高可用性至關重要的一環。

目前有許多方案著眼于實現分布式場景下的數據一致性，比如ZAB協議(Zookeeper?Atomic?Broadcast，Zookeeper原子消息廣播協議)中，Zab協議定義了三種角色：Leader(領導者)、Follower(追隨者)和Observer(觀察者)，三者都在本地維護了一個log(日志)和snapshot(快照)。當Quorum(集群)當中有新的Follower/Observer加入時，會向當前的Leader提交其當前snapshot的版本，等待Leader返回最近一段時間產生的log；Leader會比較自身log最低的版本與Follower/Observer提交的snapshot的版本，以判斷Follower/Observer與自身log之間是否存在空缺，如果不存在空缺，則Leader直接發送自己相比較于Follower多出的log；如果存在空缺，則Leader將自身當前的snapshot發送至Follower/Observer，再將snapshot發送期間產生的log發給Follower/Observer，從而確保新加入Follower/Observer數據滿足一致性。然而，在log與snapshot分離的場景下，由于log通常更新的比較快，而snapshot的生成卻比較慢，因此，在snapshot生成的過程中可能會出現log被清除，導致snapshot與log之間的版本存在空缺，從而破壞了數據一致性。

發明內容

本申請提供一種數據同步方法，以解決現有技術存在的數據一致性被破壞的缺陷。本申請另外提供一種數據同步裝置，另一種數據同步方法以及裝置，以及兩種電子設備。

本申請提供一種數據同步方法，包括：

通知日志隊列有新集群加入數據同步；

將已同步集群的第一數據存儲空間存儲的特征數據同步到所述新集群的第二數據存儲空間中，以及通過所述新集群讀取所述日志隊列中的日志；

將讀取到的日志合并到所述第二數據存儲空間中。

可選的，所述第一數據存儲空間存儲的特征數據以數據快照文件的形式同步到所述第二數據存儲空間中。

可選的，所述將已同步集群的第一數據存儲空間存儲的特征數據同步到所述新集群的第二數據存儲空間中，采用如下方式實現：

通過所述新集群向所述第二數據存儲空間發送初始化指令；

根據所述初始化指令向所述第一數據存儲空間發出快照請求；

根據所述快照請求，生成所述第一數據存儲空間存儲的特征數據的快照數據文件，并將所述數據快照文件發送至所述第二數據存儲空間；

通過所述第二數據存儲空間向所述新集群返回確認消息。