[發明專利]自動化部署運維Hadoop生態圈組件的方法及系統

有效

• 申請號: 201810368206.8
• 申請日: 2018-04-23
• 公開（公告）號: CN108549717B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 靳家棟;辛國茂;馬述杰
• 申請（專利權）人: 泰華智慧產業集團股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 鄧建國

本發明公開了一種自動化部署運維Hadoop生態圈組件的方法及系統。該方法包括：選取一臺主機作為主節點，剩余主機作為從節點；主節點上生成單節點配置功能腳本；根據單節點配置功能腳本生成單節點環境配置腳本；主節點上執行單節點環境配置腳本；主節點執行集群免密登錄腳本；主節點調用遠程分發腳本將單節點環境配置腳本分發到從節點上；主節點控制從節點執行單節點環境配置腳本；主節點調用yum源配置腳本；主節點執行部署安裝腳本，主節點和從節點上安裝Hadoop生態圈組件；主節點執行預置的管理啟動腳本對Hadoop生態圈組件進行停止、啟動和重啟的管理操作。本發明通過自動化腳本代替人工部署配置，增加大規模部署Hadoop生態圈組件的效率，同時后期運維簡單。

技術領域

本發明涉及計算機應用技術領域，更具體地，涉及一種自動化部署運維Hadoop生態圈組件的方法及系統。

背景技術

隨著互聯網大數據技術的不斷應用普及，數據量正在呈指數級增長，大約每兩年翻一番，這意味著在最近兩年產生的數據量相較于之前產生的全部數據之和還要多，對于如此巨量數據與之相關的存儲、分析、流轉等等環節產生了一系列關聯的問題，由此大數據平臺應運而生。Hadoop已經成為目前大數據處理的數據平臺的重要組成部分。隨著業務量的增長和業務數據量的增長，在上百臺甚至上千上萬臺集群規模下，需部署Hadoop的機器成千上萬后，單純依靠手動部署已經是不可能。當然目前也出現了很多自動化部署系統輔助部署，但是需要額外去購買部署，成本比較高。因此如何合理的規劃和部署Hadoop集群、如何高效率使用維護Hadoop生態圈組件，就顯得尤為重要。

因此，提供一種自動化部署運維Hadoop生態圈組件的方法及系統，實現集群內自動化部署運維Hadoop生態圈組件是本領域亟待解決的問題。

發明內容

有鑒于此，本發明提供了一種自動化部署運維Hadoop生態圈組件的方法及系統，解決了集群內自動化部署運維Hadoop生態圈組件的技術問題。

為了解決上述技術問題，一方面，本發明提出一種自動化部署運維Hadoop生態圈組件的方法，包括：

選取集群中的一臺主機作為主節點，所述集群內剩余主機作為從節點；

所述主節點調取預置的配置環境方法腳本，所述配置環境方法腳本根據部署環境的要求生成多個單節點配置功能腳本，其中，所述部署環境為所述集群內主機的工作環境，所述集群內的主機執行一個所述單節點配置功能腳本，能夠滿足部署Hadoop生態圈組件的一個基礎功能；

根據多個所述單節點配置功能腳本之間的先后執行順序生成單節點環境配置腳本，所述集群內的主機執行所述單節點環境配置腳本，能夠滿足部署Hadoop生態圈組件的環境要求；

在所述主節點上執行所述單節點環境配置腳本，使所述主節點滿足部署Hadoop生態圈組件的環境要求，其中，執行所述單節點環境配置腳本后所述主節點的防火墻關閉；

所述主節點執行預置的集群免密登錄腳本，實現所述集群內所有主機之間腳本文件及消息的傳輸；

所述主節點調用預置的遠程分發腳本，將所述單節點環境配置腳本分發到所述從節點上；

所述主節點向所述從節點發送啟動所述單節點環境配置腳本的指令，遠程控制所述從節點執行所述單節點環境配置腳本，其中，執行所述單節點環境配置腳本后所述從節點的防火墻關閉；

所述從節點將所述單節點環境配置腳本的執行狀態發送到日志文件中保存；

所述單節點配置功能腳本包括yum源配置腳本，所述主節點調用所述yum源配置腳本，在所述主節點上配置yum源，采用HTTP方式向所述從節點共享同一個所述yum源，其中，所述yum源包括Hadoop生態圈組件的安裝包；