[發(fā)明專利]基于云的大數(shù)據(jù)組件部署方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210301862.2
• 申請(qǐng)日: 2022-03-25
• 公開（公告）號(hào): CN114675843A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 張垚
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F8/60
• 分類號(hào): G06F8/60;G06F8/71;G06F8/73
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張濤;楊帆

本申請(qǐng)涉及大數(shù)據(jù)運(yùn)行技術(shù)領(lǐng)域，特別是涉及一種基于云的大數(shù)據(jù)組件部署方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。所述方法包括：定義具有不同功能的若干預(yù)設(shè)輔助功能模塊；將待部署大數(shù)據(jù)組件拆解以得到待部署大數(shù)據(jù)組件對(duì)應(yīng)的業(yè)務(wù)邏輯模塊和若干輔助功能模塊；為每個(gè)預(yù)設(shè)輔助功能模塊和所述業(yè)務(wù)邏輯模塊分別編寫鏡像文件；從若干預(yù)設(shè)輔助功能模塊中為每個(gè)輔助功能模塊匹配具有相同功能的預(yù)設(shè)輔助功能模塊作為待部署輔助模塊；創(chuàng)建容器組并在所述容器組件中部署并運(yùn)行所述業(yè)務(wù)邏輯模塊的鏡像文件、以及待部署輔助模塊的鏡像文件。本發(fā)明的方案實(shí)現(xiàn)輔助功能模塊的組合使用和功能復(fù)用，極大程度上降低了大數(shù)據(jù)組件開發(fā)的復(fù)雜度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)運(yùn)行技術(shù)領(lǐng)域，特別是涉及一種基于云的大數(shù)據(jù)組件部署方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

流計(jì)算是面向數(shù)據(jù)流的計(jì)算，流計(jì)算中參與計(jì)算的數(shù)據(jù)是無界的、不間斷的、實(shí)時(shí)到來的，因而要求流計(jì)算系統(tǒng)具有很高的計(jì)算能力和很低的計(jì)算延遲。Kubernetes是一個(gè)開源的Linux容器(container)自動(dòng)化運(yùn)維平臺(tái)，它消除了容器化應(yīng)用程序在部署、伸縮時(shí)涉及到的許多手動(dòng)操作，為基于云的軟件架構(gòu)的基礎(chǔ)底座，具有自動(dòng)化，以服務(wù)為中心，高可用和支持滾動(dòng)更新等特點(diǎn)。

目前，各大主流的大數(shù)據(jù)組件例如Kafka(由Apache軟件基金會(huì)開發(fā)的一個(gè)開源流處理平臺(tái)，其核心是用Scala和Java編寫的高吞吐量的分布式發(fā)布訂閱消息系統(tǒng))、Flink(由Apache軟件基金會(huì)開發(fā)的開源流處理框架，其核心是用Java和Scala編寫的分布式流數(shù)據(jù)流引擎)等，存在大量相同作用的模塊，比如為了支持分布式環(huán)境高可用需要有故障檢測(cè)和自動(dòng)切換，分布式集群管理需要leader選舉，因此多數(shù)大數(shù)據(jù)組件都具有l(wèi)eader選舉功能，又比如為了確保可靠存儲(chǔ)需要多副，大部分大數(shù)據(jù)組件還需要具有存儲(chǔ)副本的功能。針對(duì)這些有部分相似的功能不同大數(shù)據(jù)組件其相同功能部分有不同的實(shí)現(xiàn)，例如Kafka均Flink具有l(wèi)eader選舉功能，但Kafka、Flink均需要分別單獨(dú)對(duì)leader選舉功能進(jìn)行編寫和維護(hù)，即分布式系統(tǒng)中存在大量的冗余功能，不利于大數(shù)據(jù)組件的維護(hù)。

發(fā)明內(nèi)容

有鑒于此，有必要針對(duì)以上技術(shù)問題，提供一種基于云的大數(shù)據(jù)組件部署方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本發(fā)明的第一方面，提供了一種基于云的大數(shù)據(jù)組件部署方法，所述方法包括：

定義具有不同功能的若干預(yù)設(shè)輔助功能模塊；

將待部署大數(shù)據(jù)組件拆解以得到待部署大數(shù)據(jù)組件對(duì)應(yīng)的業(yè)務(wù)邏輯模塊和若干輔助功能模塊；

為每個(gè)預(yù)設(shè)輔助功能模塊和所述業(yè)務(wù)邏輯模塊分別編寫鏡像文件；

從若干預(yù)設(shè)輔助功能模塊中為每個(gè)輔助功能模塊匹配具有相同功能的預(yù)設(shè)輔助功能模塊作為待部署輔助模塊；

創(chuàng)建容器組并在所述容器組件中部署并運(yùn)行所述業(yè)務(wù)邏輯模塊的鏡像文件、以及待部署輔助模塊的鏡像文件。

在一些實(shí)施例中，若干預(yù)設(shè)輔助功能模塊均采用標(biāo)準(zhǔn)調(diào)用接口，所述方法還包括：

在業(yè)務(wù)邏輯模塊的原調(diào)用接口和所述標(biāo)準(zhǔn)調(diào)用接口之間添加適配器層，并將所述適配器層配置為將所述原調(diào)用接口轉(zhuǎn)換成標(biāo)準(zhǔn)調(diào)用接口。

在一些實(shí)施例中，所述業(yè)務(wù)邏輯模塊的鏡像文件和若干預(yù)設(shè)輔助功能模塊的鏡像文件采用不同的編程語言編寫，且每個(gè)鏡像均采用Protobuf協(xié)議。

在一些實(shí)施例中，所述待部署大數(shù)據(jù)組件為分布式發(fā)布訂閱消息系統(tǒng)或分布式流數(shù)據(jù)流引擎，若干預(yù)設(shè)輔助功能模塊對(duì)應(yīng)的功能包括以下至少一種：協(xié)調(diào)服務(wù)、leader選舉、日志采集、故障檢測(cè)、存儲(chǔ)分片以及存儲(chǔ)副本。

根據(jù)本發(fā)明的第二方面，提供了一種基于云的大數(shù)據(jù)組件部署裝置，所述裝置包括：

定義模塊，配置用于定義具有不同功能的若干預(yù)設(shè)輔助功能模塊；