[發(fā)明專利]一種大數(shù)據(jù)平臺組件部署方法及裝置

有效

• 申請?zhí)枺?/td>: 202110459382.4
• 申請日: 2021-04-27
• 公開（公告）號: CN113204353B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 馬申躍
• 申請（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F8/61
• 分類號: G06F8/61;G06F8/65;G06F9/455
• 代理公司: 暫無信息
• 代理人: 暫無信息

本公開提供了一種大數(shù)據(jù)平臺組件部署方法及裝置，用于提高大數(shù)據(jù)平臺的高可用性和組件性能。本公開通過將大數(shù)據(jù)平臺服務(wù)劃分為管理服務(wù)和非管理服務(wù)，在部署有容器編排引擎集群和高可用性組件的管理服務(wù)節(jié)點(diǎn)部署管理服務(wù)，在非管理服務(wù)節(jié)點(diǎn)即數(shù)據(jù)節(jié)點(diǎn)部署非管理服務(wù)節(jié)點(diǎn)，使管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)解耦，減少資源搶奪，能夠提高大數(shù)據(jù)平臺組件性能，最小化管理節(jié)點(diǎn)的故障，保證大數(shù)據(jù)平臺穩(wěn)定運(yùn)行。

技術(shù)領(lǐng)域

本公開涉及大數(shù)據(jù)和云計(jì)算技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)平臺組件部署方法及裝置。

背景技術(shù)

Apache Ambari是一種基于Web的用于創(chuàng)建、管理、監(jiān)視Hadoop的集群的管理工具，簡稱為大數(shù)據(jù)管理平臺。Ambari已支持大多數(shù)Hadoop組件，包括分布式文件系統(tǒng)HDFS、MapReduce(大規(guī)模數(shù)據(jù)集的并行運(yùn)算編程模型)、Hive(數(shù)據(jù)倉庫框架)、Pig(大規(guī)模數(shù)據(jù)分析平臺)、Hbase(分布式列數(shù)據(jù)庫)、Zookeeper(分布式應(yīng)用程序協(xié)調(diào)服務(wù))、Sqoop(數(shù)據(jù)傳輸工具)和Hcatalog(數(shù)據(jù)表和存儲管理服務(wù))等。

以Ambari為代表的Hadoop大數(shù)據(jù)平臺應(yīng)用廣泛，然而，隨著數(shù)據(jù)量的增加和集群規(guī)模的擴(kuò)大，以及業(yè)務(wù)的復(fù)雜程度不斷提升，經(jīng)常出現(xiàn)資源搶奪、網(wǎng)絡(luò)震蕩、斷電等各種因素造成平臺上的某些服務(wù)掛掉。為了解決單節(jié)點(diǎn)故障，對管理服務(wù)實(shí)現(xiàn)高可用(HighAvailable，HA)部署來保障服務(wù)的高可用性，但是大部分HA機(jī)制依賴于Zookeeper的實(shí)現(xiàn)。通常一個平臺內(nèi)只有一個Zookeeper集群，Zookeeper通常作為協(xié)調(diào)者角色存在，很多服務(wù)(例如HBase、Solr、Kafka)會頻繁的訪問Zookeeper集群，其壓力很大，一旦Zookeeper出現(xiàn)故障會導(dǎo)致所有被依賴的服務(wù)出現(xiàn)故障。

隨著容器云管理平臺K8s的出現(xiàn)，人們開始把Hadoop大數(shù)據(jù)服務(wù)移動到容器內(nèi)運(yùn)行，但是容器是通過Cgroup虛擬出來的，相比于物理機(jī)，其多出來很多調(diào)用層級，因此其性能大大縮減。再者大數(shù)據(jù)服務(wù)通常需要海量的存儲，單純使用容器，很難滿足業(yè)內(nèi)需求。

發(fā)明內(nèi)容

有鑒于此，本公開提供一種大數(shù)據(jù)平臺組件部署方法及裝置，用于提高大數(shù)據(jù)平臺的高可用性和組件性能。

圖1為本公開提供的大數(shù)據(jù)平臺組件部署方法的步驟流程示意圖，該方法包括：

步驟101.在多個管理服務(wù)節(jié)點(diǎn)部署容器編排引擎集群，并為所述容器編排引擎集群部署高可用組件；

所述容器編排引擎用于管理云平臺中多個主機(jī)上的容器化的應(yīng)用，例如可以為Kubernetes簡稱K8s。

所述高可用組件用于提供高可用性、負(fù)載均衡的組件，例如可以為HAProxy。

步驟102.將大數(shù)據(jù)平臺組件的管理服務(wù)安裝包部署在所述由多個管理服務(wù)節(jié)點(diǎn)組成的容器編排引擎集群中；所述管理服務(wù)安裝包中僅包括所述大數(shù)據(jù)平臺組件中只參與任務(wù)的分發(fā)和調(diào)度的管理服務(wù)的安裝包；

所述大數(shù)據(jù)平臺組件包括HDFS、Yarn、HBase、Zookeeper、Kafka、Solr等組件中的一種或多種。

步驟103.將大數(shù)據(jù)平臺組件的非管理服務(wù)安裝包部署在一個或多個非管理節(jié)點(diǎn)；所述非管理服務(wù)安裝包中僅包括只參與任務(wù)的計(jì)算和數(shù)據(jù)的存儲的非管理服務(wù)的安裝包。

本公開將大數(shù)據(jù)平臺組件的服務(wù)安裝包(或稱為鏡像)劃分為管理服務(wù)安裝包和非管理服務(wù)安裝包；所述管理服務(wù)安裝包中僅包括大數(shù)據(jù)平臺組件中只參與任務(wù)的分發(fā)和調(diào)度的管理服務(wù)的安裝包，所述非管理服務(wù)安裝包中僅包括只參與任務(wù)的計(jì)算和數(shù)據(jù)的存儲的非管理服務(wù)的安裝包。所述管理服務(wù)以容器方式運(yùn)行在所述K8s集群的Pod中。所述非管理服務(wù)部署在由物理機(jī)承載的所述一個或多個非管理服務(wù)節(jié)點(diǎn)中。