[發明專利]一種數據同步方法、裝置以及電子設備

有效

• 申請號: 201710009380.9
• 申請日: 2017-01-06
• 公開（公告）號: CN108280080B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 唐治洋;盧毅軍;陶云峰
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2457
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請公開了一種數據同步方法，包括：利用節點集群中節點從日志隊列中讀取新提交日志；所述新提交日志是指所述節點集群前一次從所述日志隊列中讀取日志后提交的日志；根據所述新提交日志所記錄數據變更操作涉及的數據變更，將所述數據變更應用到所述節點集群存儲快照數據文件的數據存儲空間中。所述數據同步方法在進行數據同步時，將日志隊列中新提交日志涉及的數據變更應用到節點集群的數據存儲空間中，從而保持數據的一致性；同時實現了日志和快照數據文件的分離，克服了快照數據文件的存儲容量受限于單機存儲容量的缺陷。

技術領域

本申請涉及數據同步技術領域，具體涉及一種數據同步方法。本申請同時涉及一種數據同步裝置，以及一種電子設備。

背景技術

隨著云計算的發展，越來越多的業務需求要求一種更強大的用于數據存儲的數據中心，并且要求數據中心具有較強的高可用性，能夠最大程度的減少甚至消除系統故障對正常業務的影響，因此，建立多個數據中心實現業務容災成為必然選擇，這些數據中心之間的數據同步成為實現業務高可用性至關重要的一環。

目前有許多方案著眼于實現分布式場景下的數據一致性，比如Google Chubby是最早引入Paxos一致性協議的一個項目，以及基于ZAB(Zookeeper Atomic Broadcast，Zookeeper原子消息廣播協議)實現的Zookeeper項目，這兩個項目設計之初就是只在單個數據中心內部部署運行的，無法實現在跨地域場景中運行，數據存儲容量受限于單機存儲，之所以受限于單機存儲，是因為所采用架構決定的，在這種架構中，一般存在數目為奇數的節點，節點兩兩互連，通過一致性選舉協議選舉獲得主節點，其余節點為從節點，每個節點上有一個數據庫，數據庫由log(日志)和snapshot(快照)組成，在這種架構中，數據庫的log和snapshot是密不可分的兩個組件，并且在一個節點中，有且僅有一個log和一個snapshot組件，使得snapshot的規模不能無限增長，始終受限于節點的單機存儲容量。

發明內容

本申請提供一種數據同步方法，以解決現有技術存在的存儲容量受限的缺陷。本申請另外提供一種數據同步裝置，以及一種電子設備。

本申請提供一種數據同步方法，包括：

利用節點集群中節點從日志隊列中讀取新提交日志；所述新提交日志是指所述節點集群前一次從所述日志隊列中讀取日志后提交的日志；

根據所述新提交日志所記錄數據變更操作涉及的數據變更，將所述數據變更應用到所述節點集群存儲快照數據文件的數據存儲空間中。

可選的，所述節點集群包括由節點組成的節點集群集合當中的至少一個節點集群，所述節點集群集合當中的節點集群部署在至少一個地理區域中，且所述節點集群在所述地理區域中部署的數目大于或者等于1。

可選的，所述日志隊列中日志根據所述節點集群中節點提交的數據變更操作創建，并在創建的日志中記錄當前數據變更操作后加入所述日志隊列。

可選的，所述節點集群中節點通過提供的數據存儲模型向用戶提供數據服務；其中，所述數據存儲模型包括：基于Key/Value的數據存儲模型。

可選的，所述數據存儲模型提供的數據操作包括：所述數據變更操作和數據讀取操作；其中，所述數據變更操作包括：數據創建操作、數據刪除操作和數據修改操作。

可選的，所述日志在加入所述日志隊列時按照預設排序順序依次排序，所述排序順序包括：加入所述日志隊列的時間從先到后的順序。

可選的，所述利用節點集群中節點從日志隊列中讀取新提交日志步驟執行前，執行下述步驟：

通過所述節點集群中節點接收包含數據變更操作的數據請求；

根據所述數據請求中包含的數據變更操作創建日志，并在創建的日志中記錄當前數據變更操作后加入所述日志隊列。