[發(fā)明專利]一種服務(wù)集群

有效

• 申請(qǐng)?zhí)枺?/td>: 201611187600.9
• 申請(qǐng)日: 2016-12-20
• 公開(kāi)（公告）號(hào): CN107046474B
• 公開(kāi)（公告）日: 2019-12-13
• 發(fā)明（設(shè)計(jì)）人: 趙影
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/08
• 代理公司: 11227 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 王寶筠

本申請(qǐng)?zhí)峁┝艘环N服務(wù)集群，當(dāng)有多個(gè)主名字節(jié)點(diǎn)時(shí)，備用名字節(jié)點(diǎn)可通過(guò)向各個(gè)主名字節(jié)點(diǎn)發(fā)送測(cè)試信息來(lái)獲知主名字節(jié)點(diǎn)是否發(fā)生故障，并在發(fā)生故障時(shí)向目標(biāo)主名字節(jié)點(diǎn)發(fā)送選主申請(qǐng)以申請(qǐng)自身成為主名字節(jié)點(diǎn)，目標(biāo)主名字節(jié)點(diǎn)可將備用名字節(jié)點(diǎn)添加至主名字節(jié)點(diǎn)列表中，當(dāng)只有一個(gè)主名字節(jié)點(diǎn)時(shí)，備用名字節(jié)點(diǎn)可通過(guò)向主名字節(jié)點(diǎn)發(fā)送測(cè)試信息來(lái)獲知主名字節(jié)點(diǎn)是否發(fā)生故障，并在發(fā)生故障時(shí)將自己作為主名字節(jié)點(diǎn)添加至主名字節(jié)點(diǎn)列表中。本申請(qǐng)可自主發(fā)現(xiàn)名字節(jié)點(diǎn)的故障信息，并在某一主名字節(jié)點(diǎn)發(fā)生故障時(shí)，使備用名字節(jié)點(diǎn)成為主名字節(jié)點(diǎn)添加至主名字節(jié)點(diǎn)列表中，而不再依賴于Zookeeper集群，系統(tǒng)架構(gòu)簡(jiǎn)化，運(yùn)維成本大大降低。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種服務(wù)集群。

背景技術(shù)

現(xiàn)如今，Hadoop HDFS已成為大數(shù)據(jù)領(lǐng)域最主流的分布式文件存儲(chǔ)系統(tǒng)，而名字節(jié)點(diǎn)(NameNode)是HDFS中最重要的管理節(jié)點(diǎn)，它的作用主要體現(xiàn)在以下幾個(gè)方面：負(fù)責(zé)維護(hù)著整個(gè)文件系統(tǒng)的文件目錄樹(shù)；存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)信息；負(fù)責(zé)接收用戶的操作請(qǐng)求。可見(jiàn)，名字節(jié)點(diǎn)的穩(wěn)定運(yùn)行對(duì)于HDFS來(lái)說(shuō)是至關(guān)重要的。

在Hadoop 1.X中，HDFS存在名字節(jié)點(diǎn)單點(diǎn)故障(SPOF，Single Points OfFailure)問(wèn)題，所謂單點(diǎn)故障，即單個(gè)點(diǎn)發(fā)生故障的時(shí)候會(huì)波及到整個(gè)系統(tǒng)或者網(wǎng)絡(luò)，從而導(dǎo)致整個(gè)系統(tǒng)或者網(wǎng)絡(luò)的癱瘓。在Hadoop2.x版本中，Hadoop提出了基于Zookeeper的HDFSHA方案，在該方案中，采用一個(gè)主名字節(jié)點(diǎn)和一個(gè)備用名字節(jié)點(diǎn)，同時(shí)引入了Zookeeper集群和主備切換控制器，主備切換控制器用于檢測(cè)主名字節(jié)點(diǎn)和一個(gè)備用名字節(jié)點(diǎn)的狀態(tài)信息，當(dāng)主名字節(jié)點(diǎn)發(fā)生故障時(shí)，借助Zookeeper集群的leader選舉功能實(shí)現(xiàn)主備切換。

基于Zookeeper的HDFS HA方案中，采用一個(gè)主名字節(jié)點(diǎn)和一個(gè)備用名字節(jié)點(diǎn)的方案雖然在一定程度上緩解了HDFS的單點(diǎn)故障問(wèn)題，但在該方案中需要引入Zookeeper集群，該集群最少需要3臺(tái)服務(wù)器，對(duì)于只想單獨(dú)使用HDFS的場(chǎng)景而言，顯得非常冗余，且增加了運(yùn)維成本。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種服務(wù)集群，用以解決現(xiàn)有技術(shù)中的于Zookeeper的HDFS HA方案中，需要引入Zookeeper集群，對(duì)于只想單獨(dú)使用HDFS的場(chǎng)景而言，顯得非常冗余，且增加了運(yùn)維成本的問(wèn)題，其技術(shù)方案如下：

一種服務(wù)集群，所述服務(wù)集群包括：多個(gè)主名字節(jié)點(diǎn)和至少一個(gè)備用名字節(jié)點(diǎn)，每個(gè)名字節(jié)點(diǎn)維護(hù)有主名字節(jié)點(diǎn)列表、備用名字節(jié)點(diǎn)列表以及故障名字節(jié)點(diǎn)列表；

所述備用名字節(jié)點(diǎn)，按預(yù)設(shè)的周期性的向各個(gè)主名字節(jié)點(diǎn)發(fā)送測(cè)試信息以測(cè)試所述各個(gè)主名字節(jié)點(diǎn)是否正常工作，當(dāng)一主名字節(jié)點(diǎn)發(fā)生故障時(shí)，將所述主名字節(jié)點(diǎn)列表中第n個(gè)正常工作的主名字節(jié)點(diǎn)作為目標(biāo)主名字節(jié)點(diǎn)，向所述目標(biāo)主名字節(jié)點(diǎn)發(fā)送選主申請(qǐng)，所述選主申請(qǐng)用于申請(qǐng)自身成為主名字節(jié)點(diǎn)，其中，n的取值為1…N，N為所述主名字節(jié)點(diǎn)列表中正常工作的主名字節(jié)點(diǎn)的個(gè)數(shù)；

所述目標(biāo)主名字節(jié)點(diǎn)，接收到所述備用名字節(jié)點(diǎn)發(fā)送的選主申請(qǐng)之后，觸發(fā)各個(gè)主名字節(jié)點(diǎn)不再接收客戶端的數(shù)據(jù)操作請(qǐng)求，將所述備用名字節(jié)點(diǎn)添加至自身的主名字節(jié)點(diǎn)列表中，并將所述備用名字節(jié)點(diǎn)從自身的備用名字節(jié)點(diǎn)列表中刪除，將所述發(fā)生故障的主名字節(jié)點(diǎn)從所述自身的主名字節(jié)點(diǎn)列表中刪除，并將所述發(fā)生故障的主名字節(jié)點(diǎn)添加至自身的故障名字節(jié)點(diǎn)列表中，將所述主名字節(jié)點(diǎn)發(fā)生故障以及所述備用名字節(jié)點(diǎn)成為主名字節(jié)點(diǎn)的信息同步給所述服務(wù)集群中的其它名字節(jié)點(diǎn)，以使所述其它名字節(jié)點(diǎn)基于所述信息更新自身的列表。

其中，每個(gè)主名字節(jié)點(diǎn)還維護(hù)有元數(shù)據(jù)；

所述目標(biāo)主名字節(jié)點(diǎn)，在將所述備用名字節(jié)點(diǎn)添加至所述自身的主名字節(jié)點(diǎn)列表中之后，將自身維護(hù)的元數(shù)據(jù)發(fā)送給成為主名字節(jié)點(diǎn)的所述備用名字節(jié)點(diǎn)。