[發(fā)明專利]數(shù)據(jù)集群的部署方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110948981.2
• 申請日: 2021-08-18
• 公開（公告）號: CN113641456B
• 公開（公告）日: 2023-06-13
• 發(fā)明（設(shè)計）人: 李銘軒;魏進武;張呈宇;博格利;張基恒
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F8/60;G06F9/50
• 代理公司: 北京天昊聯(lián)合知識產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;姜春咸

本發(fā)明公開了一種數(shù)據(jù)集群的部署方法、裝置及系統(tǒng)，該方法包括：獲取數(shù)據(jù)集群發(fā)送的容器創(chuàng)建請求中包含的標(biāo)簽信息；查詢與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)，創(chuàng)建與所述Docker容器創(chuàng)建參數(shù)相對應(yīng)的運行環(huán)境；獲取與所述Docker容器創(chuàng)建參數(shù)相匹配的系統(tǒng)資源；基于所述運行環(huán)境以及所述系統(tǒng)資源創(chuàng)建用于運行指定應(yīng)用實例的Docker容器。該方式能夠通過自動創(chuàng)建Docker容器的方式實現(xiàn)集群的自動化部署，提升了集群部署效率。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)，尤其涉及一種數(shù)據(jù)集群的部署方法、裝置及系統(tǒng)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，各項業(yè)務(wù)對于大數(shù)據(jù)的需求也越來越強烈，隨著業(yè)務(wù)的不斷發(fā)展，原有的大數(shù)據(jù)存儲技術(shù)已無法滿足數(shù)據(jù)量日益增長的業(yè)務(wù)需求。相應(yīng)的，現(xiàn)有的平臺技術(shù)架構(gòu)已經(jīng)無法滿足數(shù)據(jù)的存儲需求以及數(shù)據(jù)處理能力的需求。為了解決上述問題，提出了一種基于Share-Disk架構(gòu)實現(xiàn)的大數(shù)據(jù)解決方案。Share-Disk架構(gòu)通過多個服務(wù)器節(jié)點共享一個存儲來實現(xiàn)大數(shù)據(jù)集群。

但是，發(fā)明人在實現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，上述架構(gòu)至少存在以下缺陷：由于同一時間集群中只有一臺服務(wù)器工作，其他服務(wù)器只能作為冗余服務(wù)器，從而導(dǎo)致硬件資源嚴(yán)重浪費；并且，在存儲方面容易出現(xiàn)單點故障。而且，該架構(gòu)中的集群需要人工部署，操作繁瑣。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明提供了一種數(shù)據(jù)集群的部署方法、裝置及系統(tǒng)，以解決現(xiàn)有技術(shù)中的集群需要人工部署，操作繁瑣的問題

根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)集群的部署方法，包括：

獲取數(shù)據(jù)集群發(fā)送的容器創(chuàng)建請求中包含的標(biāo)簽信息；

查詢與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)，創(chuàng)建與所述Docker容器創(chuàng)建參數(shù)相對應(yīng)的運行環(huán)境；

獲取與所述Docker容器創(chuàng)建參數(shù)相匹配的系統(tǒng)資源；

基于所述運行環(huán)境以及所述系統(tǒng)資源創(chuàng)建用于運行指定應(yīng)用實例的Docker容器。

可選地，所述獲取數(shù)據(jù)集群發(fā)送的容器創(chuàng)建請求中包含的標(biāo)簽信息之前，進一步包括：通過集群管理框架提供的接口，申請與所述指定應(yīng)用實例相對應(yīng)的虛擬資源；

則所述查詢與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)包括：

查詢注冊表中存儲的與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)；其中，所述標(biāo)簽信息與所述Docker容器創(chuàng)建參數(shù)之間的對應(yīng)關(guān)系基于所述集群管理框架確定。

可選地，所述集群管理框架為mesos框架，且所述系統(tǒng)資源進一步包括：服務(wù)器資源、文件資源、以及網(wǎng)絡(luò)資源。

可選地，所述查詢與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)，創(chuàng)建與所述Docker容器創(chuàng)建參數(shù)相對應(yīng)的運行環(huán)境包括：

若所述與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)為對應(yīng)于第一類數(shù)據(jù)集群的參數(shù)，則創(chuàng)建基于所述集群管理框架的Docker運行環(huán)境；

若所述與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)為對應(yīng)于第二類數(shù)據(jù)集群的參數(shù)，則創(chuàng)建基于所述集群管理框架以及YARN框架的Docker運行環(huán)境。

可選地，所述若所述與所述標(biāo)簽信息相對應(yīng)的Docker容器創(chuàng)建參數(shù)為對應(yīng)于第一類數(shù)據(jù)集群的參數(shù)，則創(chuàng)建基于所述集群管理框架的Docker運行環(huán)境包括：

根據(jù)所述對應(yīng)于第一類數(shù)據(jù)集群的參數(shù)，確定所述第一類數(shù)據(jù)集群對應(yīng)的框架種類；

若所述第一類數(shù)據(jù)集群的框架種類為第一量級類框架，則創(chuàng)建基于所述集群管理框架的第一Docker運行環(huán)境；