[發明專利]一種基于容器云技術快速搭建Hadoop集群的方法

在審

• 申請號: 201710066614.3
• 申請日: 2017-02-07
• 公開（公告）號: CN106850621A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 劉鵬;張真;朱光耀;謝超;董廣明;吳榮榮;沈大為;戎新堃
• 申請（專利權）人: 南京云創大數據科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06F9/445;G06F17/30
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙)32256
• 代理人: 任立

技術領域

本發明涉及Hadoop集群的創建技術領域，特別是一種基于容器云技術快速搭建Hadoop集群的方法。

背景技術

目前，Hadoop集群通常是基于虛擬機或PC來進行搭建；在預先設定好集群的規模（包括主節點和從節點數量等）之后，需要根據預設的規模建立指定數量臺虛擬機或購買指定數量臺PC；建立好這些服務器之后，需要逐臺安裝操作系統，并安裝搭建Hadoop集群所必要的JDK等服務，指定好每臺服務器的主機名，配置好每兩臺服務器之間的SSH免密認證；最后，需要在主節點部署Hadoop，修改配置后，分發給集群中其余的每臺服務器；完成這些步驟之后，才可以使用Hadoop的啟動腳本啟動集群。

江蘇物聯網研究發展中心公開的發明專利一種基于OpenStack的提供Hadoop服務的方法（CN104065716A）中，采用如下圖所示的架構搭建Hadoop集群；該系統首先搭建基于OpenStack的云平臺，并另外架設一個系統控制節點，當用戶需要服務時，選擇云平臺中預裝的計算環境及特定的配置，發送請求給系統控制節點，利用云平臺虛擬化技術，架設虛擬主機，啟動已經安裝Hadoop的系統鏡像，通過系統控制節點發送命令，上傳配置文件，啟動Hadoop服務，通過云平臺內部網絡交互消息，完成Hadoop平臺的啟動。

然而，由于廠商眾多，發行版本眾多，OpenStack有各種技術上的難點；首先，OpenStack在集成性、擴展性和穩定性上還遠遠不足；Nova、Swift、Cinder和Neutron分別使用各自的數據庫存儲配置信息，安裝和升級均費時費力；

其次，OpenStack缺乏完整性；OpenStack只能提供計算、存儲、網絡三種云產品，如果基于OpenStack自助搭建Hadoop集群，需要打通OpenStack和Hadoop之間的賬戶、安全、管理運維和監控體系，流程復雜而繁瑣；

再者，OpenStack不能提供端到端的服務保障；用戶拿到手的只是散落的“框架”和組建，必須手工將多廠商、多版本的功能集成起來；

最后，OpenStack缺乏通用的基礎版本；OpenStack目前可下載的廠商定制版有20多個，客戶不清楚應該選擇哪個版本，更不清楚如何根據自己的需求來在不同版本之間進行組合、混搭和遷移；以上這些缺陷導致了江蘇物聯網研究發展中心公開的這個發明專利在系統安裝實施耗時較長，藕合性也較高，系統穩定性也無法保證，需要專門進行系統維護，或對OpenStack代碼進行優化。

使用多臺PC或物理服務器來搭建Hadoop集群，成本相對較高，資源利用率較低；使用虛擬機會提供整個虛擬化硬件層，但是使用成本也會顯著提升，資源利用率同樣不高；此外，使用PC或虛擬機搭建Hadoop集群后，若使用時破壞了集群環境，很難立即發現問題；發現環境被破壞后，需要將被破壞的單臺或多臺服務器或虛擬機的環境進行重建，處理的及時性得不到保證。

發明內容

本發明所要解決的技術問題是，克服現有技術的缺點，提供一種基于容器云技術快速搭建Hadoop集群的方法。

為了解決以上技術問題，本發明提供一種基于容器云技術快速搭建Hadoop集群的方法，包括如下具體步驟：

根據實際需要確定選用的物理服務器數量，將這些選取好的物理服務器整體看做一個集群，指定該集群的master節點，并分配實際部署節點，即作為slave節點；

為集群中的每臺物理服務器安裝CentOS7操作系統；

在該集群的每個master節點上采用yum install命令安裝并啟動容器編排服務Kubernetes和網絡服務Flannel；

在預先分配好的master節點上安裝MySQL數據庫、鏡像倉庫服務及管理門戶；

使用管理員賬戶登錄管理門戶界面，建立用戶；使用建立的用戶登錄管理門戶，創建該用戶的集群環境并搭建Hadoop集群。

技術效果：相比基于OpenStack或VMWare等虛擬機技術來搭建Hadoop集群，本發明在步驟3直接使用Kubernetes服務來編排用戶創建的集群環境中的各個容器實例，保證服務的穩定性的同時，利用容器的輕量性特點，使得建立這些集群服務器的速度有很大提升，而且每臺服務器所占用的系統資源相對于虛擬機技術也有所減少，因此可以搭建出更多的Hadoop集群。