[發(fā)明專(zhuān)利]一種用于消息隊(duì)列的自動(dòng)擴(kuò)容方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110859802.8
• 申請(qǐng)日: 2021-07-28
• 公開(kāi)（公告）號(hào): CN113609071A
• 公開(kāi)（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 劉彬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/11
• 分類(lèi)號(hào): G06F16/11;G06F16/13;G06F16/17;G06F16/182;G06F9/54
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 曾軍;韓來(lái)兵

本申請(qǐng)涉及一種用于消息隊(duì)列的自動(dòng)擴(kuò)容方法及裝置。其中，方法包括：獲取目標(biāo)消息隊(duì)列中每個(gè)候選分區(qū)的負(fù)載；根據(jù)每個(gè)所述候選分區(qū)的負(fù)載以及目標(biāo)負(fù)載閥值，判斷所述候選分區(qū)中是否存在高負(fù)載分區(qū)，其中，所述高負(fù)載分區(qū)的負(fù)載高于所述目標(biāo)負(fù)載閥值；在確定存在至少一個(gè)所述高負(fù)載分區(qū)的情況下，生成用于對(duì)所述目標(biāo)消息隊(duì)列進(jìn)行分區(qū)擴(kuò)容的目標(biāo)指令；按照所述目標(biāo)指令，在所述目標(biāo)消息隊(duì)列中增加至少一個(gè)新增分區(qū)。通過(guò)本實(shí)施例中的方法，可以在目標(biāo)消息隊(duì)列中存在高負(fù)載分區(qū)的情況下，自動(dòng)觸發(fā)對(duì)該目標(biāo)消息隊(duì)列增加至少一個(gè)新增分區(qū)，進(jìn)而可以提高目標(biāo)消息隊(duì)列的負(fù)載能力，并且便于后期通過(guò)新增分區(qū)分擔(dān)高負(fù)載分區(qū)的負(fù)載目的。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種用于消息隊(duì)列的自動(dòng)擴(kuò)容方法及裝置。

背景技術(shù)

消息隊(duì)列是一種消息傳輸?shù)闹虚g件，常用于各個(gè)系統(tǒng)之間的解耦、數(shù)據(jù)轉(zhuǎn)發(fā)、異步通信、流量削峰的場(chǎng)景；其中，支持發(fā)布/訂閱(publish/subscribe，簡(jiǎn)稱(chēng)pub/sub)的topic消息傳遞模型為一種廣泛使用的能夠廣播的消息隊(duì)列模型，topic消息傳遞模型中包括生產(chǎn)者(producer)、主題(topic，即消息隊(duì)列)、分區(qū)(partition)、消費(fèi)者(consumer)。

在相關(guān)技術(shù)中的消息隊(duì)列的組件，對(duì)于分區(qū)的擴(kuò)容(例如，當(dāng)前的分區(qū)數(shù)為1，因?yàn)橐休d更大的數(shù)據(jù)量級(jí)，需要將分區(qū)修改為2或者3甚至更大)只能通過(guò)手動(dòng)的去調(diào)用消息隊(duì)列的命令或者通過(guò)修改配置文件的方式來(lái)實(shí)現(xiàn)，因此需要人工對(duì)消息隊(duì)列的負(fù)載進(jìn)行監(jiān)測(cè)，以達(dá)到及時(shí)進(jìn)行分區(qū)擴(kuò)容的目的。

相關(guān)技術(shù)中采用人工對(duì)消息隊(duì)列進(jìn)行分區(qū)擴(kuò)容由于無(wú)法自適應(yīng)彈性擴(kuò)容，因此存在擴(kuò)容效率低下的技術(shù)問(wèn)題。

針對(duì)相關(guān)技術(shù)的消息隊(duì)列中存在擴(kuò)容效率低下的技術(shù)問(wèn)題，目前尚未提供有效的解決方案。

發(fā)明內(nèi)容

為了解決上述消息隊(duì)列中存在擴(kuò)容效率低下的技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N用于消息隊(duì)列的自動(dòng)擴(kuò)容方法及裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種用于消息隊(duì)列的自動(dòng)擴(kuò)容方法，包括：

獲取目標(biāo)消息隊(duì)列中每個(gè)候選分區(qū)的負(fù)載；

根據(jù)每個(gè)所述候選分區(qū)的負(fù)載以及目標(biāo)負(fù)載閥值，判斷所述候選分區(qū)中是否存在高負(fù)載分區(qū)，其中，所述高負(fù)載分區(qū)的負(fù)載高于所述目標(biāo)負(fù)載閥值；

在確定存在至少一個(gè)所述高負(fù)載分區(qū)的情況下，生成用于對(duì)所述目標(biāo)消息隊(duì)列進(jìn)行分區(qū)擴(kuò)容的目標(biāo)指令；

按照所述目標(biāo)指令，在所述目標(biāo)消息隊(duì)列中增加至少一個(gè)新增分區(qū)。

可選地，如前述的方法，所述根據(jù)每個(gè)所述候選分區(qū)的負(fù)載以及目標(biāo)負(fù)載閥值，判斷所述候選分區(qū)中是否存在高負(fù)載分區(qū)包括：

在所述候選分區(qū)的負(fù)載指示所述候選分區(qū)的數(shù)據(jù)負(fù)載大于或等于目標(biāo)數(shù)據(jù)負(fù)載閥值，或所述候選分區(qū)的計(jì)算資源負(fù)載大于或等于目標(biāo)計(jì)算資源負(fù)載閥值的情況下，將所述候選分區(qū)確定為所述高負(fù)載分區(qū)。

可選地，如前述的方法，在所述在確定存在至少一個(gè)所述高負(fù)載分區(qū)的情況下，生成用于對(duì)所述目標(biāo)消息隊(duì)列進(jìn)行分區(qū)擴(kuò)容的目標(biāo)指令之前，所述方法還包括：

在除所述高負(fù)載分區(qū)之外的所有所述候選分區(qū)中，確定出目標(biāo)低負(fù)載分區(qū)；

確定所述目標(biāo)低負(fù)載分區(qū)的目標(biāo)分區(qū)標(biāo)識(shí)。

可選地，如前述的方法，所述按照所述目標(biāo)指令，在所述目標(biāo)消息隊(duì)列中增加至少一個(gè)新增分區(qū)包括：

按照所述目標(biāo)分區(qū)標(biāo)識(shí)，將所述目標(biāo)指令發(fā)送至所述目標(biāo)低負(fù)載分區(qū)；

在所述目標(biāo)低負(fù)載分區(qū)執(zhí)行所述目標(biāo)指令之后，在所述目標(biāo)低負(fù)載分區(qū)所在的目標(biāo)節(jié)點(diǎn)中增加至少一個(gè)所述新增分區(qū)。