[發(fā)明專利]一種實(shí)現(xiàn)基于NFS的HADOOP HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410246212.8
• 申請(qǐng)日: 2014-06-05
• 公開（公告）號(hào): CN103986789A
• 公開（公告）日: 2014-08-13
• 發(fā)明（設(shè)計(jì)）人: 張憲昭
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜明

?

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)服務(wù)器技術(shù)領(lǐng)域，具體地說是一種實(shí)現(xiàn)基于NFS的HADOOP?HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法。

背景技術(shù)

正如大家所知，NameNode在Hadoop（hadoop是云計(jì)算技術(shù)的重要組成部分，它是目前云計(jì)算、大數(shù)據(jù)解決方案中最為流行和最為穩(wěn)定的工具，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架）系統(tǒng)中存在單點(diǎn)故障問題，為解決這個(gè)問題，Hadoop?2.0推出了namenode節(jié)點(diǎn)HA功能，一臺(tái)為active節(jié)點(diǎn)，一臺(tái)為standby節(jié)點(diǎn)，Active?Node作為Primary?NameNode對(duì)外提供服務(wù)。Standby?Node處于Safe?mode模式，在內(nèi)存中保存Primary?NameNode最新的元數(shù)據(jù)信息。Active?Node和Standby?Node通過NFS共享存儲(chǔ)進(jìn)行交互edits。DataNode同時(shí)向Active?Node和Standby?Node發(fā)送Block?location信息。當(dāng)管理員確定Primary?NameNode發(fā)生故障后，將Standby?Node切換為Primary?NameNode。由于Standby?Node內(nèi)存中保存了所有元數(shù)據(jù)的最新信息，因此可直接對(duì)外提供服務(wù)。這套方案的缺點(diǎn)是，NFS共享存儲(chǔ)是個(gè)單點(diǎn)，當(dāng)提供NFS（是Network?File?System的簡(jiǎn)寫，即網(wǎng)絡(luò)文件系統(tǒng)）服務(wù)的機(jī)器故障時(shí)，整個(gè)Hadoop集群就會(huì)宕機(jī)。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是提供一種實(shí)現(xiàn)基于NFS的HADOOP?HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法。

本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，該方法步驟如下：

1）兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD，實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdb1實(shí)時(shí)同步；

2）配置NFS服務(wù)，完成后配置heartbeat；

3）兩臺(tái)用于namenode的服務(wù)器掛載NFS共享，并設(shè)置NFS的自動(dòng)掛載；

4）安裝Hadoop，并配置namenode的HA；

5）當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS?ip資源和drbd資源，啟動(dòng)NFS服務(wù)。

所述的網(wǎng)絡(luò)為以太網(wǎng)。

所述的namenode節(jié)點(diǎn)是通過NFS?ip進(jìn)行掛載的，當(dāng)NFS主服務(wù)器故障時(shí)，在namenode上可以通過df命令確認(rèn)NFS掛載正常，從而保證了Hadoop集群的正常運(yùn)行。

所述的配置heartbeat的HA?resource包括NFS服務(wù)的ip、drbd資源。

本發(fā)明的一種實(shí)現(xiàn)基于NFS的HADOOP?HA集群中NFS節(jié)點(diǎn)雙機(jī)冗余的方法和現(xiàn)有技術(shù)相比，提高了集群的穩(wěn)定性、保證了業(yè)務(wù)的連續(xù)運(yùn)行。

附圖說明

附圖1為NFS服務(wù)器故障切換流程圖。

?附圖2為Hadoop集群拓?fù)鋱D。

具體實(shí)施方式

　　實(shí)施例1:

該方法步驟如下：

1）兩臺(tái)服務(wù)器通過網(wǎng)絡(luò)互聯(lián)，安裝DRBD（Distributed?Replicated?Block?Device是一個(gè)用軟件實(shí)現(xiàn)的、無(wú)共享的、服務(wù)器之間鏡像塊設(shè)備內(nèi)容的存儲(chǔ)復(fù)制解決方案），實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdb1實(shí)時(shí)同步；

2）配置NFS服務(wù)，完成后配置heartbeat；

3）兩臺(tái)用于namenode的服務(wù)器掛載NFS共享，并設(shè)置NFS的自動(dòng)掛載；

4）安裝Hadoop，并配置namenode的HA；

5）當(dāng)從NFS服務(wù)器通過heatbeat監(jiān)控到主NFS服務(wù)器的資源異常時(shí)，從NFS服務(wù)器自動(dòng)接管NFS?ip資源和drbd資源，啟動(dòng)NFS服務(wù)。

　　實(shí)施例2:

該方法步驟如下：

1）兩臺(tái)服務(wù)器通過以太網(wǎng)（指的是由Xerox公司創(chuàng)建并由Xerox,Intel和DEC公司聯(lián)合開發(fā)的基帶局域網(wǎng)規(guī)范）互聯(lián)，安裝DRBD（Distributed?Replicated?Block?Device是一個(gè)用軟件實(shí)現(xiàn)的、無(wú)共享的、服務(wù)器之間鏡像塊設(shè)備內(nèi)容的存儲(chǔ)復(fù)制解決方案），實(shí)現(xiàn)兩臺(tái)機(jī)器的/dev/sdb1實(shí)時(shí)同步；

2）配置NFS服務(wù)，完成后配置heartbeat；

3）兩臺(tái)用于namenode的服務(wù)器掛載NFS共享，并設(shè)置NFS的自動(dòng)掛載；

4）安裝Hadoop，并配置namenode的HA；