[發明專利]大數據集群擴容方法及裝置

有效

• 申請號: 202010094856.5
• 申請日: 2020-02-07
• 公開（公告）號: CN111339055B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 闞寶鐸;李國濤;張棟;吳李烜
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 程佩玉

本發明提供了大數據集群擴容方法及裝置，包括：調用管理待擴容集群的Ambari工具執行：對至少一個擴展節點的配置進行修改；在至少一個擴展節點上安裝Ambari?Agent；將至少一個擴展節點注冊到待擴容集群上；根據待擴容集群，為至少一個擴展節點安裝組件；調用Ansible?Playbook，根據上述步驟和至少一個擴展節點的節點標識完成待擴容集群的擴容操作。本方案能夠降低集群擴容的難度。

技術領域

本發明涉及計算機技術領域，特別涉及大數據集群擴容方法及裝置。

背景技術

近年來，隨著互聯網、移動互聯網、物聯網的快速發展，各行各業無時無刻不在產生著大量的數據。因此，各大互聯網公司都建有自己的大數據平臺用于存儲這些海量的數據，并對這些數據展開分析應用，發掘數據背后的價值。

然而，伴隨著公司業務規模及用戶數量的不斷增長，Hadoop分布式文件系統集群的數據存儲容量大小和訪問頻次都在以指數級別的方式增長。而Ambari?Web管理界面支持集群的擴容，但是，擴容節點的前置準備工作仍然需要手動安裝或配置。特別是，當一次擴展幾十上百臺機器，在集群上擴容是非常繁瑣的事情，從而增加集群擴容的難度。

發明內容

本發明實施例提供了大數據集群擴容方法及裝置，能夠降低集群擴容的難度。

第一方面，本發明提供了大數據集群擴容方法，包括：

調用管理待擴容集群的Ambari工具執行：

D1：對至少一個擴展節點的配置進行修改；

D2：在所述至少一個擴展節點上安裝Ambari?Agent；

D3：將所述至少一個擴展節點注冊到所述待擴容集群上；

D4：根據所述待擴容集群，為所述至少一個擴展節點安裝組件；

D5：調用Ansible?Playbook，根據步驟D1至D5和所述至少一個擴展節點的節點標識完成所述待擴容集群的擴容操作。

優選地，

所述將所述至少一個擴展節點注冊到所述待擴容集群上，包括：

調用Ambari?Rest?Api，分別將每一個所述擴展節點上的所述Ambari?Agent的注冊信息發送給所述Ambari工具中的Ambari?Server，以使所述Ambari?Server按照所述注冊信息完成每一個所述擴展節點在所述待擴容集群上的注冊。

優選地，

所述根據所述待擴容集群，為所述至少一個擴展節點安裝組件，包括：

確定所述待擴容集群上安裝的組件；

調用Ambari?Rest?Api，執行：

在所述至少一個節點上添加所述組件；

安裝所述至少一個節點上添加的所述組件；

啟動所述至少一個節點上安裝的所述組件。

優選地，

所述調用Ansible?Playbook，根據步驟D1至D5和所述至少一個擴展節點的節點標識完成所述待擴容集群的擴容操作，包括：

調用Ansible?Playbook執行，將步驟D1至D5編寫為Ansible?Playbook腳本；

在所述待擴容集群的Inventory主機資產文件中編寫所述至少一個擴展節點的節點標識；

執行編寫后的所述Inventory主機資產文件，并運行所述Ansible?Playbook腳本。