[發(fā)明專利]一種Kafka的分區(qū)擴(kuò)充方法、裝置、存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011570100.X
• 申請(qǐng)日: 2020-12-26
• 公開(kāi)（公告）號(hào): CN112631776A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 王歡;張萌;穆小亮;曹斌;滿運(yùn)峰;田程
• 申請(qǐng)（專利權(quán)）人: 中國(guó)農(nóng)業(yè)銀行股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張建

1.一種Kafka的分區(qū)擴(kuò)充方法，其特征在于，包括：

確定所述Kafka中的待進(jìn)行分區(qū)擴(kuò)充的主題；

獲得所述主題的當(dāng)前分區(qū)在所述Kafka的節(jié)點(diǎn)中的副本分布信息；

獲得所述Kafka的節(jié)點(diǎn)的當(dāng)前負(fù)載信息；

根據(jù)獲得的所述副本分布信息和所述當(dāng)前負(fù)載信息，確定所述主題的待擴(kuò)充分區(qū)的副本部署方案；

按照所述副本部署方案，在所述Kafka的節(jié)點(diǎn)中部署所述待擴(kuò)充分區(qū)的副本，以對(duì)所述主題進(jìn)行所述待擴(kuò)充分區(qū)的擴(kuò)充。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述副本分布信息包括主副本分布信息，所述副本部署方案包括主副本部署方案。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)獲得的所述副本分布信息和所述當(dāng)前負(fù)載信息，確定所述主題的待擴(kuò)充分區(qū)的副本部署方案，包括：

從所述當(dāng)前負(fù)載信息中確定所述Kafka的節(jié)點(diǎn)中是否存在有負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)，如果是，則根據(jù)所述主副本分布信息，確定所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中是否存在有未部署所述主題的主副本的節(jié)點(diǎn)，如果是，則將所述未部署所述主題的主副本的節(jié)點(diǎn)確定為所述待擴(kuò)充分區(qū)的主副本的目標(biāo)部署節(jié)點(diǎn)；

所述按照所述副本部署方案，在所述Kafka的節(jié)點(diǎn)中部署所述待擴(kuò)充分區(qū)的副本，包括：

在所述主副本的目標(biāo)部署節(jié)點(diǎn)中部署所述待擴(kuò)充分區(qū)的主副本。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)獲得的所述副本分布信息和所述當(dāng)前負(fù)載信息，確定所述主題的待擴(kuò)充分區(qū)的副本部署方案，還包括：

如果所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中未存在有未部署所述主題的主副本的節(jié)點(diǎn)，則根據(jù)所述主副本分布信息，確定所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中是否存在有對(duì)所述主題的主副本的部署數(shù)量不高于預(yù)設(shè)閾值的第一節(jié)點(diǎn)，如果是，則將所述第一節(jié)點(diǎn)確定為所述主副本的目標(biāo)部署節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述副本分布信息包括：從副本分布信息，所述副本部署方案包括：從副本部署方案。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)獲得的所述副本分布信息和所述當(dāng)前負(fù)載信息，確定所述主題的待擴(kuò)充分區(qū)的副本部署方案，包括：

從所述當(dāng)前負(fù)載信息中確定所述Kafka的節(jié)點(diǎn)中至少一個(gè)負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)；

確定所述主題在各所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中的從副本分布信息；

基于最小化各所述負(fù)載不大于所述預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)對(duì)所述主題的從副本的部署數(shù)量的方差的部署原則，根據(jù)所述主題在各所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中的從副本分布信息，從各所述負(fù)載不大于預(yù)設(shè)負(fù)載限值的節(jié)點(diǎn)中確定所述主題的各從副本的目標(biāo)部署節(jié)點(diǎn)；

所述按照所述副本部署方案，在所述Kafka的節(jié)點(diǎn)中部署所述待擴(kuò)充分區(qū)的副本，包括：

將所述主題的各從副本部署至相應(yīng)的目標(biāo)部署節(jié)點(diǎn)中。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前負(fù)載信息包括：存儲(chǔ)空間占用率、網(wǎng)絡(luò)帶寬占用率、中央處理器CPU使用率和內(nèi)存使用率中的至少一種。

8.一種Kafka的分區(qū)擴(kuò)充裝置，其特征在于，包括：主題確定單元、第一獲得單元、第二獲得單元、方案確定單元和副本部署單元，其中：

所述主題確定單元，被配置為執(zhí)行：確定所述Kafka中的待進(jìn)行分區(qū)擴(kuò)充的主題；

所述第一獲得單元，被配置為執(zhí)行：獲得所述主題的當(dāng)前分區(qū)在所述Kafka的節(jié)點(diǎn)中的副本分布信息；

所述第二獲得單元，被配置為執(zhí)行：獲得所述Kafka的節(jié)點(diǎn)的當(dāng)前負(fù)載信息；

所述方案確定單元，被配置為執(zhí)行：根據(jù)獲得的所述副本分布信息和所述當(dāng)前負(fù)載信息，確定所述主題的待擴(kuò)充分區(qū)的副本部署方案；

所述副本部署單元，被配置為執(zhí)行：按照所述副本部署方案，在所述Kafka的節(jié)點(diǎn)中部署所述待擴(kuò)充分區(qū)的副本，以對(duì)所述主題進(jìn)行所述待擴(kuò)充分區(qū)的擴(kuò)充。