[發明專利]基于Kafka集群的動態限速方法、裝置以及計算機設備

有效

• 申請號: 202011190715.X
• 申請日: 2020-10-30
• 公開（公告）號: CN112367384B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 張辰安;付航;鄭志升
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;G06F9/54
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲;王勇

1.一種基于Kafka集群的動態限速方法，其特征在于，所述方法包括：

獲取Kafka集群中目標Kafka節點在當前時間段的多個輸入輸出指標值，所述目標Kafka節點為所述Kafka集群中的任一Kafka節點；

判斷所述多個輸入輸出指標值中的至少任一項是否大于預設的第一閾值；

當所述輸入輸出指標值大于所述第一閾值時，計算出所述目標Kafka節點的數據讀出率；

當所述數據讀出率小于或等于預設的第二閾值時，查找出寫入數據量超過預設的第三閾值的主題分區作為第一目標主題分區，調整所述第一目標主題分區的寫入速度；

當所述數據讀出率大于所述第二閾值時，查找出對所述目標Kafka節點中第二目標主題分區對應的磁盤執行數據讀出操作且讀出速度大于預設的第四閾值的消費者作為目標消費者，其中，所述第二目標主題分區為所述目標Kafka節點中的任一主題分區，調整所述目標消費者對所述第二目標主題分區的讀出速度。

2.如權利要求1所述的基于Kafka集群的動態限速方法，其特征在于，所述數據讀出率＝讀出數據量/(讀出數據量+寫入數據量)。

3.如權利要求1或2中任一項所述的基于Kafka集群的動態限速方法，其特征在于，所述輸入輸出指標值包括磁盤輸入速度與輸出速度之和，磁盤輸入輸出使用率或生產百分位時間中的任一項，所述獲取Kafka集群中目標Kafka節點在當前時間段的多個輸入輸出指標值包括：

采集所述目標Kafka節點當前時間段的磁盤輸入/輸出數據量；

根據所述磁盤輸入/輸出數據量計算出所述目標Kafka節點的磁盤輸入速度與輸出速度之和以及磁盤輸入輸出使用率；

采集所述目標Kafka節點接收到的目標消息的寫入請求，以及所述目標消息寫入磁盤時間，所述目標消息為所述目標Kafka節點接收到的任一消息；

根據所述目標消息的寫入請求和寫入磁盤時間計算出所述目標Kafka節點的生產百分位時間。

4.如權利要求3所述的基于Kafka集群的動態限速方法，其特征在于，所述第一閾值包括分別對應于磁盤輸入速度與輸出速度之和，磁盤輸入輸出使用率或生產百分位時間的第一閾值A，第一閾值B或第一閾值C中的至少任一項。

5.如權利要求1所述的基于Kafka集群的動態限速方法，其特征在于，所述查找出寫入數據量超過預設的第三閾值的主題分區作為第一目標主題分區包括：

獲取所述目標Kafka節點下的每一個主題分區的寫入數據量并進行大小排序；

將寫入數據量超過所述第三閾值且處于排序前面預設的Z位之內的所有主題分區作為第一目標主題分區。

6.如權利要求1所述的基于Kafka集群的動態限速方法，其特征在于，所述查找出對所述目標Kafka節點中第二目標主題分區對應的磁盤執行數據讀出操作包括：

判斷每一個消費者當前時間段內是否讀出了所述第二目標主題分區對應的歷史數據，所述歷史數據為所述第二目標主題分區的頁面緩存中的預設時間段之前的數據；

當消費者在當前時間段內讀出了所述第二目標主題分區對應的歷史數據，則判斷為所述消費者為目標消費者。

7.如權利要求6所述的基于Kafka集群的動態限速方法，其特征在于，所述判斷每一個消費者當前時間段內是否讀出了所述第二目標主題分區對應的歷史數據包括：

獲取所述目標Kafka節點的數據寫入速度X，以及所述目標主題分區的數據寫入速度Y，根據所述目標Kafka節點的內存大小M，計算出所述目標Kafka節點的中頁面緩存偏移量N，其中，N＝(m*M/X)*Y，m為預設常數；

判斷所述頁面緩存偏移量N是否大于預設的頁面緩存容量值；

當所述頁面緩存偏移量N大于所述頁面緩存容量值時，則將所述頁面緩存偏移量之前的數據作為歷史數據；

通過日志信息查找出每一個消費者當前時間段內是否讀出了所述第二目標主題分區對應的歷史數據。