[發明專利]一種hadoop平臺自動安裝部署的方法及裝置

有效

• 申請號: 201410534261.1
• 申請日: 2014-10-11
• 公開（公告）號: CN104317610A
• 公開（公告）日: 2015-01-28
• 發明（設計）人: 白默;王雷;林克;何凌毅;朱堅;陸向東
• 申請（專利權）人: 福建新大陸軟件工程有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 福州市鼓樓區博深專利代理事務所(普通合伙) 35214
• 代理人: 林志崢

1.一種hadoop平臺自動安裝部署的方法，其特征在于，包括：?

S100：發布hadoop版本軟件安裝包，定制版本配置文件；?

不同發行版和版本號的所述安裝包按照目錄層次結構存放在yum安裝服務器中，版本號目錄層下存放具體的hadoop服務的軟件安裝包；?

不同發行版和版本號的hadoop版本配置文件按照目錄層級結構組成配置列表信息后存放在大數據管理平臺上，版本號目錄層下存放有包括用于指向yum安裝服務器對應hadoop服務的軟件安裝包源位置的repo安裝源文件和hadoop服務目錄列表，每個hadoop服務目錄下包括服務運行所需的默認配置文件；?

S200：運行大數據管理平臺，加載所述配置列表信息；?

S300：在大數據管理平臺創建集群，在所述配置列表信息中選擇所需的hadoop發行版本及版本號；?

S400：將主機加入集群，自動分發步驟S300中選定的hadoop版本號對應的repo安裝源文件至集群的各主機上；?

S500：在選定的hadoop版本號對應的hadoop服務目錄列表中選擇各主機所需的hadoop服務，并將hadoop服務對應的Master和Slaver節點分配到各主機上；?

S600：在所述服務的默認配置文件的基礎上對所選的hadoop服務的必要參數進行配置；?

S700：大數據管理平臺根據重新配置后的服務配置文件生成包括安裝啟動任務信息的相關配置信息，將所述安裝啟動任務信息發送至各主機；?

各主機根據所述repo安裝源文件獲取相對應的所述hadoop服務的軟件安裝包，并根據所述安裝啟動任務信息自動安裝并啟動各服務。?

2.根據權利要求1所述的一種hadoop平臺自動安裝部署的方法，其特征在于，在步驟S100中，所述安裝包和所述hadoop版本配置文件的目錄層級結構中，一級目錄層均為發行版本，二級目錄層均為版本號，三級均為hadoop服務；?

所述hadoop版本配置文件的三級目錄層下還存放有包括服務核心配置文件模板的所述服務的默認配置文件和服務元數據信息描述文件，所述服務元數據?信息描述文件定義每個hadoop服務下包含的組件，以及組件的Master和Slaver從屬關系。?

3.根據權利要求1所述的一種hadoop平臺自動安裝部署的方法，其特征在于，包括在所述主機上安裝并運行客戶端軟件的步驟；?

所述客戶端軟件在主機上啟動后，自動收集當前主機包括操作系統和硬件信息的主機信息并上報給大數據管理平臺，并將所述主機信息在大數據管理平臺中注冊，注冊后的主機信息存儲在大數據管理平臺的數據庫中。?

4.根據權利要求1所述的一種hadoop平臺自動安裝部署的方法，其特征在于，步驟S400中還包括在主機加入集群前需通過私鑰身份認證的步驟。?

5.根據權利要求3所述的一種hadoop平臺自動安裝部署的方法，其特征在于，步驟S600還包括根據各主機不同的配置要求創建不同的配置組，并將不同配置要求的主機劃分入對應配置要求的配置組中；?

步驟S700具體包括：?

S701：大數據管理平臺根據重新配置后的服務配置文件生成相關配置信息，所述配置信息包括：服務信息、配置組以及服務配置信息、主機與服務組件信息、安裝啟動任務信息，并將生成的信息保存至數據庫中；?

S702：大數據管理平臺根據各主機所需安裝的服務的不同，將對應的安裝啟動任務信息以心跳方式發送至各主機的客戶端軟件；?

S703：各主機的客戶端軟件接收所述安裝啟動任務信息后根據所述安裝啟動任務信息中的指令執行對應所述hadoop服務的軟件安裝包的安裝和啟動，所述hadoop服務的軟件安裝包的安裝和啟動包括服務組件的安裝、配置文件的生成和服務的啟動、停止，同時生成執行日記，并將執行日志以異步心跳應答方式發送給大數據管理平臺。?