[發明專利]一種Hadoop集群自動添加刪除節點的方法

在審

• 申請號: 201611260873.1
• 申請日: 2016-12-30
• 公開（公告）號: CN106648801A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 趙山;王剛;高傳集
• 申請（專利權）人: 廣東浪潮大數據研究有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F17/30;H04L29/08
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 張靖

技術領域

本發明涉及Hadoop集群技術領域，具體涉及一種Hadoop集群自動添加刪除節點的方法。通過對Ambari RestApi進行封裝，可以實現Hadoop集群中任意類型節點的自動添加和刪除，無需人工進行干預。

背景技術

Ambari作為一種供應、管理、監控Hadoop集群的工具，提供了直觀易操作的Hadoop集群安裝、管理功能。用戶只需通過在WEB頁面上進行點擊，就可以完成創建、管理、配置等操作，為用戶提供了一站式的服務，簡化了用戶的操作。然而，由于Hadoop生態的復雜性，在Ambari上為Hadoop集群增加節點仍需要進行很多操作，即便這些操作已經比純手工添加Hadoop節點簡化了許多，但是在同時維護多個集群或批量添加、刪除節點時，這些操作仍顯得過于繁瑣，運維人員會感覺力不從心。

發明內容

本發明要解決的技術問題是：本發明針對以上問題，提供一種Hadoop集群自動添加刪除節點的方法。

本發明所采用的技術方案為：

一種Hadoop集群自動添加刪除節點的方法，所述方法通過調用一個或多個Ambari RestApi，實現Hadoop集群的添加、刪除、維護等操作。

Ambari RestApi是一組Ambari提供的用來操作Hadoop集群的符合REST規范的接口。

REST是Representational State Transfer的縮寫，是一種通過Http請求操作服務端資源的國際通用接口規范，其內容主要包括：

（1）每個URI代表一種服務端的資源

（2）客戶端和服務端之間約定并傳遞資源的一個表現形式。如：一段使用XML格式描述資源的文本。

（3）客戶端通過四個HTTP動詞（GET、POST、PUT、DELETE），來指定對服務端的資源進行什么樣的操作。

凡是符合REST接口規范的API統稱為RestApi。

所述方法通過對重復度較高的Amari RestApi邏輯進行封裝，可以大幅度簡化調用Amari RestApi的邏輯，用戶只需要關心操作的資源本身即可。如：調用RestApi本質上屬于發送Http請求，每次發送請求時都需要構建請求頭信息、認證信息、請求體信息等；同時在收到服務端響應后，也要對響應頭、響應體等進行相應的解析。

所述方法通過使用程序對多個原子操作組合和編排并進行封裝，實現一整套業務邏輯的自動化處理。

通過對重復度較高的邏輯進行封裝后，只是簡化了調用Amari RestApi對Hadoop集群進行原子操作的邏輯。而通過使用程序對多個原子操作進行組合和編排，實現一整套業務邏輯的自動化處理（如新增Hadoop節點），是第二個層面上的封裝。

通過對Ambari RestApi進行封裝，用戶只需要輸入要添加或刪除的節點IP，即可完成Hadoop節點的新增和刪除。

Ambari RestApi封裝后的接口也能夠被其他程序所調用，將添加或刪除Hadoop節點的操作作為一個子業務邏輯嵌入到其他業務邏輯中。

添加Hadoop節點流程如下：

a)用戶需要提前準備好需要添加的Hadoop節點（物理機或虛擬機），安裝并啟動Ambari-agent；

b)用戶啟動添加節點流程前，需要選擇對照節點，并輸入要添加的Hadoop節點地址；新節點上的組件會參考對照節點上已安裝的組件情況進行安裝；

c)流程開始，首先檢查Ambari-server是否運行正常；

d)檢查目標節點上Ambari-agent是否允許正常；

e)將新節點注冊到集群中；

f)讀取對照節點上已安裝的組件列表；

g)按照對照節點的組件列表為新節點添加組件；

h)為新節點執行組件安裝操作；

i)組件安裝完成后啟動組件。

刪除Hadoop節點流程如下：

a)流程開始前，用戶需要輸入要刪除的節點地址；

b)流程開始，首先檢查Ambari-server是否運行正常；

c)檢查節點上是否有需要進行退役操作的組件（如DataNode、NodeManager、HBASE Region Server等），并進行相應的退役操作；若不進行退役操作，可能會導致數據丟失；

d)退役操作完成后，停止節點上的所有組件；

e)移除節點上的所有組件；

f)將節點從集群中注銷；