[發(fā)明專利]自動(dòng)化部署運(yùn)維Hadoop生態(tài)圈組件的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810368206.8
• 申請(qǐng)日: 2018-04-23
• 公開(kāi)（公告）號(hào): CN108549717B
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 靳家棟;辛國(guó)茂;馬述杰
• 申請(qǐng)（專利權(quán)）人: 泰華智慧產(chǎn)業(yè)集團(tuán)股份有限公司
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/182
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 鄧建國(guó)

1.一種自動(dòng)化部署運(yùn)維Hadoop生態(tài)圈組件的方法，其特征在于，包括：

選取集群中的一臺(tái)主機(jī)作為主節(jié)點(diǎn)，所述集群內(nèi)剩余主機(jī)作為從節(jié)點(diǎn)；

所述主節(jié)點(diǎn)調(diào)取預(yù)置的配置環(huán)境方法腳本，所述配置環(huán)境方法腳本根據(jù)部署環(huán)境的要求生成多個(gè)單節(jié)點(diǎn)配置功能腳本，其中，所述部署環(huán)境為所述集群內(nèi)主機(jī)的工作環(huán)境，所述集群內(nèi)的主機(jī)執(zhí)行一個(gè)所述單節(jié)點(diǎn)配置功能腳本，能夠滿足部署Hadoop生態(tài)圈組件的一個(gè)基礎(chǔ)功能；

根據(jù)多個(gè)所述單節(jié)點(diǎn)配置功能腳本之間的先后執(zhí)行順序生成單節(jié)點(diǎn)環(huán)境配置腳本，所述集群內(nèi)的主機(jī)執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本，能夠滿足部署Hadoop生態(tài)圈組件的環(huán)境要求；

在所述主節(jié)點(diǎn)上執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本，使所述主節(jié)點(diǎn)滿足部署Hadoop生態(tài)圈組件的環(huán)境要求，其中，執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本后所述主節(jié)點(diǎn)的防火墻關(guān)閉；

所述主節(jié)點(diǎn)執(zhí)行預(yù)置的集群免密登錄腳本，實(shí)現(xiàn)所述集群內(nèi)所有主機(jī)之間腳本文件及消息的傳輸；

所述主節(jié)點(diǎn)調(diào)用預(yù)置的遠(yuǎn)程分發(fā)腳本，將所述單節(jié)點(diǎn)環(huán)境配置腳本分發(fā)到所述從節(jié)點(diǎn)上；

所述主節(jié)點(diǎn)向所述從節(jié)點(diǎn)發(fā)送啟動(dòng)所述單節(jié)點(diǎn)環(huán)境配置腳本的指令，遠(yuǎn)程控制所述從節(jié)點(diǎn)執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本，其中，執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本后所述從節(jié)點(diǎn)的防火墻關(guān)閉；

所述從節(jié)點(diǎn)將所述單節(jié)點(diǎn)環(huán)境配置腳本的執(zhí)行狀態(tài)發(fā)送到日志文件中保存；

所述單節(jié)點(diǎn)配置功能腳本包括yum源配置腳本，所述主節(jié)點(diǎn)調(diào)用所述yum源配置腳本，在所述主節(jié)點(diǎn)上配置yum源，采用HTTP方式向所述從節(jié)點(diǎn)共享同一個(gè)所述yum源，其中，所述yum源包括Hadoop生態(tài)圈組件的安裝包；

所述單節(jié)點(diǎn)配置功能腳本包括：禁用SElinux策略腳本、禁用Transparent Huge Pages腳本、目錄默認(rèn)訪問(wèn)權(quán)限配置腳本、修改linux最大文件句柄數(shù)腳本和解壓安裝JDK工具包，修改環(huán)境變量及配置文件內(nèi)容；

所述主節(jié)點(diǎn)執(zhí)行預(yù)置的部署安裝腳本，所述主節(jié)點(diǎn)調(diào)用所述yum源中的所述Hadoop生態(tài)圈組件的安裝包，在所述主節(jié)點(diǎn)上安裝Hadoop生態(tài)圈組件，同時(shí)，所述主節(jié)點(diǎn)向所述從節(jié)點(diǎn)發(fā)送部署安裝的指令，所述從節(jié)點(diǎn)調(diào)用所述yum源中的所述Hadoop生態(tài)圈組件的安裝包，在所述從節(jié)點(diǎn)上安裝Hadoop生態(tài)圈組件；

所述主節(jié)點(diǎn)將所述部署安裝腳本的執(zhí)行狀態(tài)發(fā)送到所述日志文件中保存；

所述集群內(nèi)的主機(jī)將各自的運(yùn)行狀態(tài)及安裝的Hadoop生態(tài)圈組件的運(yùn)行狀態(tài)進(jìn)行展示；

所述主節(jié)點(diǎn)執(zhí)行預(yù)置的管理啟動(dòng)腳本對(duì)所述集群內(nèi)的主機(jī)及主機(jī)內(nèi)安裝的Hadoop生態(tài)圈組件進(jìn)行停止、啟動(dòng)和重啟的管理操作。

2.根據(jù)權(quán)利要求1所述的自動(dòng)化部署運(yùn)維Hadoop生態(tài)圈組件的方法，其特征在于，

所述主節(jié)點(diǎn)向所述從節(jié)點(diǎn)發(fā)送啟動(dòng)所述單節(jié)點(diǎn)環(huán)境配置腳本的指令，遠(yuǎn)程控制所述從節(jié)點(diǎn)執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本的步驟進(jìn)一步包括：

所述主節(jié)點(diǎn)調(diào)用遠(yuǎn)程維護(hù)工具向所述從節(jié)點(diǎn)批量發(fā)送啟動(dòng)所述單節(jié)點(diǎn)環(huán)境配置腳本的指令，所述主節(jié)點(diǎn)遠(yuǎn)程批量控制所述從節(jié)點(diǎn)執(zhí)行所述單節(jié)點(diǎn)環(huán)境配置腳本。

3.根據(jù)權(quán)利要求2所述的自動(dòng)化部署運(yùn)維Hadoop生態(tài)圈組件的方法，其特征在于，

所述遠(yuǎn)程維護(hù)工具包括mussh、pdsh或者pssh。

4.根據(jù)權(quán)利要求2所述的自動(dòng)化部署運(yùn)維Hadoop生態(tài)圈組件的方法，其特征在于，所述方法還包括：

所述主節(jié)點(diǎn)調(diào)用所述遠(yuǎn)程維護(hù)工具，在所述集群內(nèi)增加或者去除主機(jī)、處理所述集群內(nèi)主機(jī)及主機(jī)內(nèi)Hadoop生態(tài)圈組件的異常運(yùn)行狀態(tài)。