[發明專利]集群彈性部署的方法和管理系統

有效

• 申請號: 201510084932.3
• 申請日: 2015-02-15
• 公開（公告）號: CN104679717B
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 唐平
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: G06F15/177
• 分類號: G06F15/177;G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 趙曉祎;戚傳江

本發明提供了集群彈性部署的方法和管理系統。根據本發明的方法和管理系統，能夠動態部署和管理的彈性計算框架的集群。所述方法包括：定義集群的基本信息；從由擬用于生成集群的機器所組成的資源池中，選擇擬用于生成所述集群的機器；選擇將用于所述機器的軟件的版本并修改所述機器的配置信息；選擇所述機器要部署的服務進程；以及根據所述機器中所包括的檢測腳本，對所述機器進行環境正確性檢查，其中，如果所述環境正確性檢查通過，則從云存儲獲取對所述機器進行配置的鏡像文件，以及在所述機器上啟用所述要部署的服務進程。

技術領域

本發明涉及計算機技術領域，特別地涉及分布式系統中的集群彈性部署的方法和管理系統。

背景技術

為了應對海量數據存儲，越來越多的企業采用諸如HBase的開源數據庫。然而，作為分布式系統，對于HBase的集群部署和運維非常麻煩，比如對現有集群進行擴容或剔除出現軟硬件故障的機器的情況下，要依賴于運維人員的手工操作。這些操作不僅具有重復性，極易出錯，而且隨著集群個數和集群自身規模的增加，使得難以通過手工操作對其進行管理。

為簡化諸如HBase的集群管理操作，業界也出現了一些管理工具，比如ClouderaManager和Ambari。在部署集群時，用戶僅需選定好HBase所依賴的軟件包版本，通過工具界面配置每個機器的角色，對HBase、Zookeeper和Hadoop的配置進行調整，而具體的集群部署操作則由這些管理工具完成。

即便如上所述的管理工具來實現集群管理操作，仍存在以下弊端：管理工具由于商業授權而存在諸多限制，比如Cloudera Manager限制集群規模小于100機器節點；不便于多集群管理，管理工具均是針對一個集群的安裝和管理，而難以對多個集群的彈性增減機器等；缺乏審計追蹤，對生產環境中的機器的操作沒有做必要的記錄，無法幫助用戶在出現問題時追查原因及責任人。

發明內容

有鑒于此，本發明提供一種集群彈性部署的方法和管理系統，通過引入資源池，將所有擬用于集群部署的機器放入資源池內，能夠簡化對現有資源池和集群的維護管理。

為實現上述目的，根據本發明的一個方面，提供了一種集群彈性部署的方法。

本發明的集群彈性部署的方法包括步驟：定義集群的基本信息；從由擬用于生成集群的機器所組成的資源池中，選擇擬用于生成所述集群的機器；選擇將用于所述機器的軟件的版本并修改所述機器的配置信息；選擇所述機器要部署的服務進程；以及根據所述機器中所包括的檢測腳本，對所述機器進行環境正確性檢查，其中，如果所述環境正確性檢查通過，則從云存儲獲取對所述機器進行配置的鏡像文件，以及在所述機器上啟用所述要部署的服務進程。

可選地，所述定義集群的基本信息包括：定義所述集群的集群名稱、集群機器類型、使用有效期和集群規模。

可選地，所述對所述機器進行環境正確性檢查包括：對所述機器的操作系統版本、JDK版本、主機名、防火墻、時間同步配置中的一項或多項進行檢查。

可選地，本發明的集群彈性部署的方法進一步包括向所述集群添加機器的步驟，所述步驟包括：從所述資源池中選擇空閑的機器并且指定在其上要部署的服務進程；以及根據所述機器中所包括的檢測腳本，對所述機器進行環境正確性檢查，其中，如果所述環境正確性檢查通過，則從所述云存儲獲取對所述機器進行配置的鏡像文件，對所述機器的配置進行更新，以及啟用所述要部署的服務進程。

可選地，本發明的集群彈性部署的方法進一步包括向所述集群動態刪除機器的步驟，所述步驟包括：選擇需要停止的機器并且停止部署在其上的服務進程；以及根據所述機器中所包括的檢測腳本，對所述集群工作狀態進行檢測，其中，如果所述集群能夠工作正常，則將所述機器的配置信息重置為初始狀態。