[發(fā)明專利]一種分布式集群中節(jié)點(diǎn)的數(shù)據(jù)同步方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011008049.3
• 申請(qǐng)日: 2020-09-23
• 公開(kāi)（公告）號(hào): CN112134887B
• 公開(kāi)（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 張昊鵬;張秉政;鐘初;李松
• 申請(qǐng)（專利權(quán)）人: 哈爾濱海能達(dá)科技有限公司
• 主分類號(hào): H04L67/1095
• 分類號(hào): H04L67/1095;H04L67/1042;H04L69/16
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 夏歡

本申請(qǐng)?zhí)峁┝艘环N分布式集群中節(jié)點(diǎn)的數(shù)據(jù)同步方法及裝置，其中方法應(yīng)用于分布式集群的任意一個(gè)節(jié)點(diǎn)，并且，方法包括：在該節(jié)點(diǎn)為主節(jié)點(diǎn)的情況下，該節(jié)點(diǎn)提供數(shù)據(jù)寫(xiě)入服務(wù)；在該節(jié)點(diǎn)從主節(jié)點(diǎn)轉(zhuǎn)變?yōu)閺墓?jié)點(diǎn)的情況下，停止數(shù)據(jù)寫(xiě)入服務(wù)；向當(dāng)前所屬集群的主節(jié)點(diǎn)發(fā)送合并信息；合并信息用于指示當(dāng)前所屬集群的主節(jié)點(diǎn)從數(shù)據(jù)副本獲取合并數(shù)據(jù)；合并數(shù)據(jù)為該節(jié)點(diǎn)作為主節(jié)點(diǎn)提供數(shù)據(jù)寫(xiě)入服務(wù)期間被寫(xiě)入的數(shù)據(jù)；以當(dāng)前所屬集群的主節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體為基準(zhǔn)，控制該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體與當(dāng)前所屬集群的主節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體保持同步。采用本申請(qǐng)的方案，該節(jié)點(diǎn)最終的主數(shù)據(jù)實(shí)體中的數(shù)據(jù)與恢復(fù)后集群的主節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體中的數(shù)據(jù)是一致的，并且是準(zhǔn)確的。

技術(shù)領(lǐng)域

本申請(qǐng)涉及通信領(lǐng)域，尤其涉及一種分布式集群中節(jié)點(diǎn)的數(shù)據(jù)同步方法及裝置。

背景技術(shù)

根據(jù)分布式系統(tǒng)的CAP理論：C一致性(Consistency)、A可用性(Availablity)、P分區(qū)容忍性(Partition-torlerance)，至多只能保證兩者，無(wú)法三者同時(shí)保證。而在分布式系統(tǒng)中分區(qū)P是常態(tài)，因此只能從A和C中做出選擇，也就是CP型或AP型。

目前，當(dāng)分布式系統(tǒng)發(fā)生集群分裂時(shí)，如果選擇可用性，在分布式集群分裂期間，每個(gè)分裂后集群的主節(jié)點(diǎn)繼續(xù)提供服務(wù)，同時(shí)支持?jǐn)?shù)據(jù)寫(xiě)入服務(wù)，當(dāng)集群分裂恢復(fù)后，從恢復(fù)后的集群中確定新的主節(jié)點(diǎn)，恢復(fù)后的集群中的從節(jié)點(diǎn)，以新的主節(jié)點(diǎn)為基準(zhǔn)，與新的主節(jié)點(diǎn)保持?jǐn)?shù)據(jù)一致。

采用圖1所示的分布式集群作為示例，在圖1中，分布式集群包括三個(gè)集群節(jié)點(diǎn)，分別是集群節(jié)點(diǎn)A、集群節(jié)點(diǎn)B和集群節(jié)點(diǎn)C。其中，集群節(jié)點(diǎn)A是主節(jié)點(diǎn)，集群節(jié)點(diǎn)B和集群節(jié)點(diǎn)C分別是從節(jié)點(diǎn)。當(dāng)分布式集群發(fā)生集群分裂時(shí)，即集群節(jié)點(diǎn)A和集群節(jié)點(diǎn)B組成一個(gè)新集群，集群節(jié)點(diǎn)C組成一個(gè)集群，其中，集群節(jié)點(diǎn)A支持?jǐn)?shù)據(jù)寫(xiě)入服務(wù)，同時(shí)，集群節(jié)點(diǎn)C也支持?jǐn)?shù)據(jù)寫(xiě)入服務(wù)，因此，兩個(gè)新集群都會(huì)有新的數(shù)據(jù)生成，并且，兩個(gè)新集群生成的新數(shù)據(jù)會(huì)出現(xiàn)不一致的情況，在集群狀態(tài)恢復(fù)后，如果恢復(fù)后集群的主節(jié)點(diǎn)為集群節(jié)點(diǎn)A，則集群節(jié)點(diǎn)C通過(guò)選擇直接與主節(jié)點(diǎn)A進(jìn)行數(shù)據(jù)同步，與集群節(jié)點(diǎn)A的數(shù)據(jù)保持一致。

但是，在集群恢復(fù)后會(huì)存在部分?jǐn)?shù)據(jù)缺失或不準(zhǔn)確的情況，還以圖1為例，由于兩個(gè)新集群生成的新數(shù)據(jù)會(huì)出現(xiàn)不一致的情況，因此，在集群恢復(fù)后，可能會(huì)導(dǎo)致集群節(jié)點(diǎn)C的數(shù)據(jù)缺失，或者，分裂恢復(fù)后的各集群節(jié)點(diǎn)中的數(shù)據(jù)不準(zhǔn)確。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N分布式集群中節(jié)點(diǎn)的數(shù)據(jù)同步方法及裝置，目的在于解決集群分裂恢復(fù)后會(huì)出現(xiàn)部分?jǐn)?shù)據(jù)缺失或不準(zhǔn)確的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘韵录夹g(shù)方案：

本申請(qǐng)?zhí)峁┝艘环N分布式集群中節(jié)點(diǎn)的數(shù)據(jù)同步方法，應(yīng)用于分布式集群中的任一節(jié)點(diǎn)；包括：

在該節(jié)點(diǎn)為主節(jié)點(diǎn)的情況下，該節(jié)點(diǎn)提供數(shù)據(jù)寫(xiě)入服務(wù)；

在該節(jié)點(diǎn)從主節(jié)點(diǎn)轉(zhuǎn)變?yōu)閺墓?jié)點(diǎn)的情況下，停止數(shù)據(jù)寫(xiě)入服務(wù)；

向當(dāng)前所屬集群的主節(jié)點(diǎn)發(fā)送合并信息；所述合并信息用于指示當(dāng)前所屬集群的主節(jié)點(diǎn)從數(shù)據(jù)副本獲取合并數(shù)據(jù)；所述數(shù)據(jù)副本為該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體的數(shù)據(jù)副本；該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體為該節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)；所述合并數(shù)據(jù)為該節(jié)點(diǎn)作為主節(jié)點(diǎn)提供數(shù)據(jù)寫(xiě)入服務(wù)期間被寫(xiě)入的數(shù)據(jù)；

以當(dāng)前所屬集群的主節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體為基準(zhǔn)，控制該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體與當(dāng)前所屬集群的主節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體保持同步。

可選的，所述數(shù)據(jù)副本的生成方法包括：

在該節(jié)點(diǎn)從主節(jié)點(diǎn)轉(zhuǎn)變?yōu)閺墓?jié)點(diǎn)之后，并且，在向當(dāng)前所屬集群的主節(jié)點(diǎn)發(fā)送合并信息之前，創(chuàng)建該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體的數(shù)據(jù)副本。

可選的，所述數(shù)據(jù)副本的生成方法包括：

在該節(jié)點(diǎn)的初始節(jié)點(diǎn)角色為主節(jié)點(diǎn)，或者，該節(jié)點(diǎn)由從節(jié)點(diǎn)轉(zhuǎn)變?yōu)橹鞴?jié)點(diǎn)的情況下，創(chuàng)建該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體的數(shù)據(jù)副本；該節(jié)點(diǎn)在為主節(jié)點(diǎn)期間，控制創(chuàng)建的數(shù)據(jù)副本與該節(jié)點(diǎn)的主數(shù)據(jù)實(shí)體保持同步。