[發明專利]一種hadoop平臺自動安裝部署的方法及裝置

有效

• 申請號: 201410534261.1
• 申請日: 2014-10-11
• 公開（公告）號: CN104317610A
• 公開（公告）日: 2015-01-28
• 發明（設計）人: 白默;王雷;林克;何凌毅;朱堅;陸向東
• 申請（專利權）人: 福建新大陸軟件工程有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 福州市鼓樓區博深專利代理事務所(普通合伙) 35214
• 代理人: 林志崢

技術領域

本發明涉及大數據領域，具體說的是一種hadoop平臺自動安裝部署的方法及裝置。

背景技術

隨著信息技術的飛速發展，信息時代產生的數據日益在膨脹，Hadoop做為解決大數據領域的重要技術手段，目前被廣泛應用著。Hadoop產品最初由Apache基金會進行開源(下文統一稱為Apache開源版)，該版本主要用于驗證和學習目的，較少用于商用，目前主要安裝部署方式是手工安裝或者編寫批量腳本安裝。在Apache開源版基礎上發展出一系列發行版，目前以cloudera、hortonworks這兩個商業版本最為主流。Cloudera公司發行的hadoop開源版為CDH(全稱Cloudera’s?Distribution?Including?Apache?Hadoop，下文統一稱為CDH開源版)，可以通過cloudera公司自行開發的Cloudera?Manager實現自動化安裝部署；hortonworks公司發行的hadoop開源版本為HDP(全稱Hortonworks?Data?Platform，下文統一稱為HDP開源版)，可以通過該公司研發工具ambari實現自動化安裝部署。目前這兩個商業發行版本的安裝工具和安裝包彼此互不兼容。

針對Hadoop開源版，現有的部署方式大都采取手工安裝軟件包，手工編寫各個服務配置文件并分發到集群每臺主機，然后采用shell腳本進行啟停。這種方式工作量繁重，當配置文件有變更時需要每臺主機都修改分發，容易出錯，一旦出現問題很難定位。而針對CDH開源版和HDP開源版，目前cloudera和hortonworks兩個商業發行版都提供了各自的hadoop發行版本以及自動化安裝管理工具，但兩個自動化安裝管理平臺彼此互不兼容。Cloudera?Manager僅可以針對CDH的軟件包實現自動化安裝部署；而ambari僅可以實現針對HDP軟件包的自動化安裝部署。

為了解決Apache開源版缺少自動化安裝工具的現狀、以及Cloudera?Manager和Ambari開源版存在安裝版本互不兼容的問題，本發明提供一種hadoop平臺自動安裝部署的方法及裝置。

發明內容

本發明所要解決的技術問題是：提供一種hadoop平臺自動安裝部署的方法及裝置，解決現有的Hadoop開源版無法實現自動化安裝，而CDH開源版和HDP開源版雖能實現自動化安裝，但是其安裝管理平臺彼此互不兼容問題。

為了解決上述技術問題，本發明采用的技術方案為：

一種hadoop平臺自動安裝部署的方法，包括：

S100：發布hadoop版本軟件安裝包，定制版本配置文件；

不同發行版和版本號的所述安裝包按照目錄層次結構存放在yum安裝服務器中，版本號目錄層下存放具體的hadoop服務的軟件安裝包；

不同發行版和版本號的hadoop版本配置文件按照目錄層級結構組成配置列表信息后存放在大數據管理平臺上，版本號目錄層下存放有包括用于指向yum安裝服務器對應hadoop服務的軟件安裝包源位置的repo安裝源文件和hadoop服務目錄列表，每個hadoop服務目錄下包括服務運行所需的默認配置文件；

S200：運行大數據管理平臺，加載所述配置列表信息；

S300：在大數據管理平臺創建集群，在所述配置列表信息中選擇所需的hadoop發行版本及版本號；

S400：將主機加入集群，自動分發步驟S300中選定的hadoop版本號對應的repo安裝源文件至集群的各主機上；

S500：在選定的hadoop版本號對應的hadoop服務目錄列表中選擇各主機所需的hadoop服務，并將hadoop服務對應的Master和Slaver節點分配到各主機上；

S600：在所述服務的默認配置文件的基礎上對所選的hadoop服務的必要參數進行配置；

S700：大數據管理平臺根據重新配置后的服務配置文件生成包括安裝啟動任務信息的相關配置信息，將所述安裝啟動任務信息發送至各主機；

各主機根據所述repo安裝源文件獲取相對應的所述hadoop服務的軟件安裝包，并根據所述安裝啟動任務信息自動安裝并啟動各服務。

本發明提供的另一個技術方案為：

一種hadoop平臺自動安裝部署的裝置，包括軟件包發布模塊、版本定制模塊和運行在大數據管理平臺中的配置加載模塊、集群管理模塊、第一選擇模塊、分發模塊、第二選擇模塊、配置模塊、生成模塊和至少一個的主機，所述主機包括安裝模塊；