[發(fā)明專利]一種大數(shù)據(jù)平臺(tái)組件部署方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110459382.4
• 申請(qǐng)日: 2021-04-27
• 公開(kāi)（公告）號(hào): CN113204353B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 馬申躍
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F8/61
• 分類號(hào): G06F8/61;G06F8/65;G06F9/455
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種大數(shù)據(jù)平臺(tái)組件部署方法，其特征在于，所述方法包括：

在多個(gè)管理服務(wù)節(jié)點(diǎn)部署容器編排引擎集群，并為所述容器編排引擎集群部署高可用組件；

將大數(shù)據(jù)平臺(tái)組件的管理服務(wù)安裝包部署在由多個(gè)管理服務(wù)節(jié)點(diǎn)組成的容器編排引擎集群中；所述管理服務(wù)安裝包中僅包括所述大數(shù)據(jù)平臺(tái)組件中只參與任務(wù)的分發(fā)和調(diào)度的管理服務(wù)的安裝包；

將大數(shù)據(jù)平臺(tái)組件的非管理服務(wù)安裝包部署在一個(gè)或多個(gè)非管理節(jié)點(diǎn)；所述非管理服務(wù)安裝包中僅包括只參與任務(wù)的計(jì)算和數(shù)據(jù)的存儲(chǔ)的非管理服務(wù)的安裝包；

所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)運(yùn)行于容器當(dāng)中，為實(shí)現(xiàn)所述管理服務(wù)的配置的動(dòng)態(tài)更新，采用配置信息與服務(wù)程序分離的機(jī)制實(shí)現(xiàn)配置信息的注入；為實(shí)現(xiàn)所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)持續(xù)服務(wù)能力，所述容器編排引擎集群通過(guò)控制機(jī)制使預(yù)定數(shù)量的承載所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)的容器進(jìn)程持續(xù)運(yùn)行。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述管理服務(wù)安裝包中還包括大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)的安裝包，所述非管理服務(wù)安裝包中還包括大數(shù)據(jù)管理平臺(tái)組件的非管理服務(wù)的安裝包，所述方法還包括：

通過(guò)容器編排引擎啟動(dòng)所述大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)后，通過(guò)所述大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)添加所述一個(gè)或多個(gè)非管理服務(wù)節(jié)點(diǎn)，然后執(zhí)行所述將大數(shù)據(jù)平臺(tái)組件的非管理服務(wù)安裝包部署在一個(gè)或多個(gè)非管理節(jié)點(diǎn)的步驟。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)所述大數(shù)據(jù)平臺(tái)組件依賴分布式應(yīng)用協(xié)調(diào)服務(wù)組件時(shí)，所述方法還包括：

在所述由多個(gè)管理服務(wù)節(jié)點(diǎn)組成的容器編排引擎集群中為所述大數(shù)據(jù)平臺(tái)組件部署分布式應(yīng)用協(xié)調(diào)服務(wù)組件集群，并將創(chuàng)建的分布式應(yīng)用協(xié)調(diào)服務(wù)組件集群的服務(wù)域名和網(wǎng)絡(luò)訪問(wèn)地址及端口動(dòng)態(tài)加載到所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)和非管理服務(wù)的配置里。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，

所述容器編排引擎集群為K8s，所述高可用組件為HAProxy，所述大數(shù)據(jù)平臺(tái)組件包括HDFS、Yarn、HBase、Zookeeper、Kafka、Solr組件中的一種或多種；大數(shù)據(jù)管理平臺(tái)組件為Ambari；所述分布式應(yīng)用協(xié)調(diào)服務(wù)組件為Zookeeper；

所述Ambari的管理服務(wù)為Ambari-Server，非管理服務(wù)為Ambari-Agent；

所述HDFS的管理服務(wù)為NameNode，非管理服務(wù)為DataNode；

所述Yarn的管理服務(wù)為ResourceManager，非管理服務(wù)為NodeManager；

所述HBase的管理服務(wù)為HMaster，非管理服務(wù)為HRegionServer；

所述Kafka和Solr的服務(wù)為非管理服務(wù)。

5.一種大數(shù)據(jù)平臺(tái)組件部署裝置，其特征在于，所述裝置包括：多個(gè)管理服務(wù)節(jié)點(diǎn)、一個(gè)或多個(gè)非管理服務(wù)節(jié)點(diǎn)和高可用組件；

所述多個(gè)管理服務(wù)節(jié)點(diǎn)部署有容器編排引擎集群，所述高可用組件為所述容器編排引擎集群中的管理服務(wù)提供高可用性；

所述多個(gè)管理服務(wù)節(jié)點(diǎn)中部署有所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)；所述管理服務(wù)為所述大數(shù)據(jù)平臺(tái)組件中只參與任務(wù)的分發(fā)和調(diào)度的服務(wù)；

所述一個(gè)或多個(gè)非管理服務(wù)節(jié)點(diǎn)中部署有所述大數(shù)據(jù)平臺(tái)組件的非管理服務(wù)；所述非管理服務(wù)為所述大數(shù)據(jù)平臺(tái)組件中只參與任務(wù)的計(jì)算和數(shù)據(jù)的存儲(chǔ)的服務(wù)；

所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)運(yùn)行于容器當(dāng)中，所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)采用配置信息與服務(wù)程序分離的機(jī)制實(shí)現(xiàn)配置信息的注入；

所述容器編排引擎集群通過(guò)控制機(jī)制使預(yù)定數(shù)量的承載所述大數(shù)據(jù)平臺(tái)組件的管理服務(wù)的容器進(jìn)程持續(xù)運(yùn)行。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，

所述多個(gè)管理服務(wù)節(jié)點(diǎn)中還部署有大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)，所述一個(gè)或多個(gè)非管理節(jié)點(diǎn)中還部署有所述大數(shù)據(jù)管理平臺(tái)組件的非管理服務(wù)；

所述容器編排引擎啟動(dòng)所述大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)后，所述大數(shù)據(jù)管理平臺(tái)組件的管理服務(wù)添加所述一個(gè)或多個(gè)非管理服務(wù)節(jié)點(diǎn)，將所述大數(shù)據(jù)平臺(tái)組件的非管理服務(wù)部署到所述一個(gè)或多個(gè)非管理節(jié)點(diǎn)。