[發(fā)明專利]數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置及分布式系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310246590.1
• 申請(qǐng)日: 2013-06-20
• 公開(kāi)（公告）號(hào): CN104243527B
• 公開(kāi)（公告）日: 2018-08-21
• 發(fā)明（設(shè)計(jì)）人: 沈柯
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

本發(fā)明公開(kāi)了一種數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置及分布式系統(tǒng)，管理節(jié)點(diǎn)獲取指示對(duì)所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心的路由信息進(jìn)行更新的路由更新消息，其中，所述路由信息中至少包含所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心的標(biāo)識(shí)信息以及所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心中各節(jié)點(diǎn)的備份路由信息；所述管理節(jié)點(diǎn)根據(jù)所述路由更新消息，調(diào)整所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心的路由信息；所述管理節(jié)點(diǎn)將調(diào)整后的所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心的路由信息同步到所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心中，以使所述第一數(shù)據(jù)中心和所述第二數(shù)據(jù)中心基于所述調(diào)整后的路由信息，對(duì)管轄的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行同步傳輸。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，具體涉及一種數(shù)據(jù)同步方法、數(shù)據(jù)同步裝置及分布式系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的發(fā)展，為了有效解決數(shù)據(jù)集中帶來(lái)的風(fēng)險(xiǎn)和訪問(wèn)延時(shí)的問(wèn)題，通常是基于分布式系統(tǒng)來(lái)構(gòu)建包括服務(wù)數(shù)據(jù)中心和備份數(shù)據(jù)中心的多數(shù)據(jù)中心，并實(shí)時(shí)確認(rèn)所述多數(shù)據(jù)中心中的每一個(gè)數(shù)據(jù)中心及其數(shù)據(jù)中心內(nèi)部的服務(wù)器的運(yùn)行狀況，以服務(wù)數(shù)據(jù)中心為例，在某個(gè)服務(wù)數(shù)據(jù)中心不能正常運(yùn)行時(shí)，基于就近原則將后續(xù)用戶的訪問(wèn)導(dǎo)向另一個(gè)正常運(yùn)行的服務(wù)數(shù)據(jù)中心；以及在某個(gè)服務(wù)數(shù)據(jù)中心的一個(gè)服務(wù)器不能正常運(yùn)行時(shí)，同樣基于就近原則將后續(xù)用戶的訪問(wèn)導(dǎo)向該服務(wù)數(shù)據(jù)中心的另一服務(wù)器中，然而在多數(shù)據(jù)中心情況下，為了能夠容災(zāi)和就近訪問(wèn)的需要，對(duì)于備份數(shù)據(jù)中心按照一致性性要求同步來(lái)自服務(wù)數(shù)據(jù)中心的數(shù)據(jù)，必然導(dǎo)致服務(wù)數(shù)據(jù)中心和備份數(shù)據(jù)中心之間的信息進(jìn)行交互，一旦所述多數(shù)據(jù)中心的交互的信息很多時(shí)，必然會(huì)導(dǎo)致數(shù)據(jù)中心之間的封閉性變差，從而降低了各個(gè)數(shù)據(jù)中心之間的獨(dú)立性，若通過(guò)轉(zhuǎn)發(fā)的方式來(lái)保證數(shù)據(jù)中心之間的封閉性時(shí)，由于轉(zhuǎn)發(fā)節(jié)點(diǎn)需要轉(zhuǎn)發(fā)所述多數(shù)據(jù)中心的所有的同步數(shù)據(jù)，而所述轉(zhuǎn)發(fā)節(jié)點(diǎn)的轉(zhuǎn)發(fā)效率是具有瓶頸的，必然會(huì)出現(xiàn)瓶頸效應(yīng)，從而導(dǎo)致所述多數(shù)據(jù)中心的同步數(shù)據(jù)的傳輸也會(huì)出現(xiàn)瓶頸效應(yīng)。

其中，在分布式系統(tǒng)中，通常使用一致性哈希（hash）環(huán)實(shí)現(xiàn)對(duì)數(shù)據(jù)的分片存儲(chǔ)和分片查詢，按照所述一致性hash環(huán)包含的多段range（連續(xù)的取值范圍）來(lái)實(shí)現(xiàn)分片，以一個(gè)數(shù)據(jù)中心為例，具體如圖1所示，該數(shù)據(jù)中心包含節(jié)點(diǎn)11、節(jié)點(diǎn)12、節(jié)點(diǎn)13和節(jié)點(diǎn)14這四個(gè)節(jié)點(diǎn)，其中的每一個(gè)節(jié)點(diǎn)由一個(gè)或多個(gè)服務(wù)器組成，一致性hash環(huán)10的取值范圍為0-2^128，其中，節(jié)點(diǎn)11映射在一致性hash環(huán)10上的A位置，節(jié)點(diǎn)12映射在一致性hash環(huán)10上的B位置，節(jié)點(diǎn)13映射在一致性hash環(huán)10上的C位置，節(jié)點(diǎn)14映射在一致性hash環(huán)10上的D位置，使得節(jié)點(diǎn)11映射的一段range為[D，A），節(jié)點(diǎn)12映射的一段range為[A，B），節(jié)點(diǎn)13映射的一段range為[B，C）和節(jié)點(diǎn)14映射的一段range為[C，D），而且所述四個(gè)節(jié)點(diǎn)中的每一個(gè)節(jié)點(diǎn)的數(shù)據(jù)均在至少一個(gè)另一節(jié)點(diǎn)中進(jìn)行備份，例如節(jié)點(diǎn)11中的數(shù)據(jù)備份在節(jié)點(diǎn)12中，也可以在節(jié)點(diǎn)12、節(jié)點(diǎn)13和節(jié)點(diǎn)13的每一個(gè)節(jié)點(diǎn)中都進(jìn)行備份，使得在一個(gè)節(jié)點(diǎn)不能正常運(yùn)行時(shí)，防止數(shù)據(jù)出現(xiàn)丟失的情況。

現(xiàn)有技術(shù)中提出通過(guò)中轉(zhuǎn)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)多數(shù)據(jù)中心中的數(shù)據(jù)同步和基于同一DHT（DistributedHashTable，分布式哈希）環(huán)來(lái)實(shí)現(xiàn)多數(shù)據(jù)中心中的數(shù)據(jù)同步，其中，Oracle的Data Guard以及mysql數(shù)據(jù)庫(kù)都是通過(guò)數(shù)據(jù)中心之間構(gòu)建中轉(zhuǎn)節(jié)點(diǎn)群來(lái)實(shí)現(xiàn)多數(shù)據(jù)中心中的數(shù)據(jù)同步，使得所述多數(shù)據(jù)中心中的所有的數(shù)據(jù)傳輸都需要通過(guò)所述中轉(zhuǎn)節(jié)點(diǎn)群來(lái)進(jìn)行傳輸，但是隨著用戶終端的數(shù)量增加的越來(lái)越多，使得需要所述中轉(zhuǎn)節(jié)點(diǎn)群來(lái)中轉(zhuǎn)的數(shù)據(jù)量也越來(lái)越大，必然導(dǎo)致所述中轉(zhuǎn)節(jié)點(diǎn)群出現(xiàn)瓶頸效應(yīng)。