[發(fā)明專利]基于Kafka集群的動態(tài)限速方法、裝置以及計算機設備

有效

• 申請?zhí)枺?/td>: 202011190715.X
• 申請日: 2020-10-30
• 公開（公告）號: CN112367384B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設計）人: 張辰安;付航;鄭志升
• 申請（專利權(quán)）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;G06F9/54
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 鄧小玲;王勇

本申請公開了一種基于Kafka集群的動態(tài)限速方法，該方法包括：獲取Kafka集群中目標Kafka節(jié)點在當前時間段的多個輸入輸出指標值；當任一所述輸入輸出指標值大于第一閾值時，若所述目標Kafka節(jié)點的數(shù)據(jù)讀出率小于或等于預設的第二閾值，查找出寫入數(shù)據(jù)量超過預設的第三閾值的主題分區(qū)作為第一目標主題分區(qū)并調(diào)整其寫入速度；若所述數(shù)據(jù)讀出率大于所述第二閾值，查找出對所述目標Kafka節(jié)點中第二目標主題分區(qū)對應的磁盤執(zhí)行數(shù)據(jù)讀出操作且讀出速度大于預設的第四閾值的消費者作為目標消費者并調(diào)整其讀出速度。本申請還提供一種基于Kafka集群的動態(tài)限速裝置、計算機設備以及計算機可讀存儲介質(zhì)。本申請能夠?qū)崿F(xiàn)對Kafka集群的精確限速，提高了限速執(zhí)行效率。

技術(shù)領(lǐng)域

本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種基于Kafka集群的動態(tài)限速方法、裝置、計算機設備及計算機可讀存儲介質(zhì)。

背景技術(shù)

隨著信息時代的到來，對于大數(shù)據(jù)的相關(guān)數(shù)據(jù)處理能力對信息技術(shù)的發(fā)展尤為重要。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)。而且，現(xiàn)有的大部分大數(shù)據(jù)處理框架，比如Storm(Twitter開源的分布式實時大數(shù)據(jù)處理框架)、Flink(Apache軟件基金會開發(fā)的開源流處理框架)、Spark(專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎)都支持讀出和寫入Kafka的數(shù)據(jù)，因此，Kafka被廣泛應用于大數(shù)據(jù)應用領(lǐng)域。

然而，在實際的生產(chǎn)環(huán)境中，Kafka被多個數(shù)據(jù)生產(chǎn)方/消費方一起使用，如果某一方寫入/讀出的數(shù)據(jù)量暴增達到Kafka集群的性能瓶頸的話，整個集群將達到不可用的狀態(tài)，嚴重影響到其他生產(chǎn)方/消費方，這個風險在任何的業(yè)務系統(tǒng)里是不能容忍的。

為了避免Kafka集群不可用的情況，目前，通過在Kafka集群進行監(jiān)控，若發(fā)現(xiàn)寫入/讀出的數(shù)據(jù)量異常，則查找出Kafka集群中的對應的Kafka節(jié)點進行限速；或者查找出對應的生產(chǎn)方/消費方進行限速。但是，現(xiàn)有的這種限速方式，往往會降低Kafka節(jié)點的服務效率，也會影響很多“無辜”的生產(chǎn)方/消費方的業(yè)務狀態(tài)。也就是說，現(xiàn)有的限速方式，精確度不高，執(zhí)行效率低下。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)岢鲆环N基于Kafka集群的動態(tài)限速方法、裝置、計算機設備及計算機可讀存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)中對基于Kafka集群執(zhí)行限速過程的限速精確度不高，執(zhí)行效率低下的問題。

首先，為實現(xiàn)上述目的，本申請?zhí)峁┮环N基于Kafka集群的動態(tài)限速方法，所述方法包括：

獲取Kafka集群中目標Kafka節(jié)點在當前時間段的多個輸入輸出指標值，所述目標Kafka節(jié)點為所述Kafka集群中的任一Kafka節(jié)點；判斷所述多個輸入輸出指標值中的至少任一項是否大于預設的第一閾值；當所述輸入輸出指標值大于所述第一閾值時，計算出所述目標Kafka節(jié)點的數(shù)據(jù)讀出率；當所述數(shù)據(jù)讀出率小于或等于預設的第二閾值時，查找出寫入數(shù)據(jù)量超過預設的第三閾值的主題分區(qū)作為第一目標主題分區(qū)，調(diào)整所述第一目標主題分區(qū)的寫入速度；當所述數(shù)據(jù)讀出率大于所述第二閾值時，查找出對所述目標Kafka節(jié)點中第二目標主題分區(qū)對應的磁盤執(zhí)行數(shù)據(jù)讀出操作且讀出速度大于預設的第四閾值的消費者作為目標消費者，其中，所述第二目標主題分區(qū)為所述目標Kafka節(jié)點中的任一主題分區(qū)，調(diào)整所述目標消費者對所述第二目標主題分區(qū)的讀出速度。

在一個例子中，所述數(shù)據(jù)讀出率＝讀出數(shù)據(jù)量/(讀出數(shù)據(jù)量+寫入數(shù)據(jù)量)。