[發明專利]集群系統的配置方法和集群系統

有效

• 申請號: 201811201271.8
• 申請日: 2018-10-16
• 公開（公告）號: CN111061503B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 孔令熙;林文輝;張浩;鄧應強
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71;G06F16/182
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了集群系統的配置方法和集群系統，分別根據應用于主節點和從節點的集群系統的配置方法，主節點可以自動完成自身Hadoop角色的配置，所有從節點也可以自動完成自身Hadoop角色的配置，從而解決現有技術中存在的由于配置Hadoop集群系統耗費大量時間、占用大量人力資源，并且人工進行節點的配置工作的錯誤率高，從而導致配置Hadoop集群系統的效率低、人力成本高、錯誤率高的技術問題。

技術領域

本發明涉及計算機技術領域，尤其涉及集群系統的配置方法和集群系統。

背景技術

隨著網絡技術的發展，網絡中產生的數據也越來越多，數據量遠遠超過一臺服務器可以管理的程度，分布式文件系統就應運而生，分布式文件管理系統管理的是一個服務器集群，而Hadoop就是分布式文件管理系統中的一種。

Hadoop包括多臺服務器，多種服務協同，可以提供大量復雜數據處理和大量計算能力。一個完整的Hadoop集群系統往往有數十個節點，甚至成百上千個節點構成，其中主節點有一個或多個，從節點有若干個，每個節點為一臺服務器。主節點一般提供管理Hadoop集群的服務或角色，例如主節點提供HDFS-Namenode、Yarn-Resourcemanager、Zookeeper、Hue等服務或角色，從節點一般提供計算或存儲的服務或角色，例如從節點提供HDFS-Datanode、Yarn-Nodemanager、Hive-Gateway等服務或角色。除了需要安裝基礎的操作系統，每個節點都需要安裝大量軟件，和配置數個文件，而根據不同節點在集群中的不同角色，需要安裝的軟件和需要配置的文件也不盡相同。

而目前配置一套Hadoop集群需要人工對所有節點逐一進行操作系統的安裝工作，人工配置所有節點的Hadoop角色所需的信息，例如集群IP地址、主機名、防火墻、NTP服務，調整內核參數等。這些安裝及配置工作耗費大量時間和人力資源，并且容易出現配置錯誤、配置不統一等導致Hadoop集群無法正常工作的現象。從而現有技術中，至少存在如下技術問題：

由于配置Hadoop集群系統耗費大量時間、占用大量人力資源，并且人工進行節點的配置工作的錯誤率高，從而導致配置Hadoop集群系統的效率低、人力成本高、錯誤率高。

發明內容

本發明實施例通過提供集群系統的配置方法和集群系統，用于解決現有技術中存在的由于配置Hadoop集群系統耗費大量時間、占用大量人力資源，并且人工進行節點的配置工作的錯誤率高，從而導致配置Hadoop集群系統的效率低、人力成本高、錯誤率高的技術問題。

第一方面，本發明一實施例提供了一種集群系統的配置方法，應用于所述集群系統中的主節點，所述方法包括：

在接收到安裝命令時，訪問操作系統文件、自動化部署系統文件和Hadoop集群安裝文件；

根據所述操作系統文件，安裝操作系統；

根據所述自動化部署系統文件，安裝自動化部署系統；

根據所述Hadoop集群安裝文件，配置所述主節點的Hadoop角色。

可選的，在所述根據所述自動化部署系統文件，安裝自動化部署系統之后，所述方法還包括：

在接收到添加從節點的操作命令時，獲取待添加的從節點的身份標識；

生成與所述身份標識對應的用于指向所述從節點的Hadoop角色的配置信息的指向文件。

可選的，所述訪問操作系統文件、自動化部署系統文件和Hadoop集群安裝文件，具體包括：

訪問與所述主節點連接的存儲介質中的所述操作系統文件、所述自動化部署系統文件和所述Hadoop集群安裝文件。

可選的，所述配置信息包括：

所述從節點的Hadoop角色的配置文件；或者