[發明專利]一種增加kafka消費能力的方法在審
| 申請號： | 201910907527.5 | 申請日： | 2019-09-24 |
| 公開（公告）號： | CN110648178A | 公開（公告）日： | 2020-01-03 |
| 發明（設計）人： | 任治州 | 申請（專利權）人： | 四川長虹電器股份有限公司 |
| 主分類號： | G06Q30/02 | 分類號： | G06Q30/02 |
| 代理公司： | 51213 四川省成都市天策商標專利事務所 | 代理人： | 胡慧東 |
| 地址： | 621000 四*** | 國省代碼： | 四川;51 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 偏移量 分區 分段 服務器系統 分段設置 消費方式 消費過程 消費能力 消費數據 應用機器 數據段 服務器 應用 保證 服務 | ||
1.一種增加kafka消費能力的方法，應用于服務器系統，其特征在于，包括以下步驟：
A.建立與Kafka服務的連接；
B.為每一個分區劃分數據段，得出各分區的分段數量；
C.為每個分區的每個分段設置開始偏移量和結束偏移量；
D.根據得到的各分區的分段數量及每個分段的開始偏移量和結束偏移量為每個消費者指定消費區間；
E.完成消費過程，得到消費數據。
2.根據權利要求1所述的一種增加kafka消費能力的方法，其特征在于，所述步驟A中具體是通過Kafka Client提供的KafkaConsumer建立和Kafka連接。
3.根據權利要求1所述的一種增加kafka消費能力的方法，其特征在于，所述步驟B中劃分各分區的數據段得出其分段數量的具體方法為：
設定每個分段的步長為T，則分段數量N＝(endOffset-beginOffset)/T，其中，endOffset為該分區的結束偏移量，beginOffset為該分區的開始偏移量；且一個分區的一個分段的數據由一個獨立的線程讀取。
4.根據權利要求3所述的一種增加kafka消費能力的方法，其特征在于，當求出的N為非整數時，則N最終的取值為求出的N值加1后取整。
5.根據權利要求4所述的一種增加kafka消費能力的方法，其特征在于，所述步驟C中設置每個分段的開始偏移量和結束偏移量的具體計算方法為：各分區的第一個分段的開始偏移量S1＝beginOffset；第N個分段的開始偏移量SN＝beginOffset+(N–1)*T+1，其中，T為每個分段的步長，N為大于1的整數；
各分區的最后一個分段的結束偏移量EN＝endOffset-1；各分區除最后一個分段外其余分段的結束偏移量Em＝beginOffset+m*T，T為每個分段的步長，m＝1,2，…，N-1。
6.根據權利要求5所述的一種增加kafka消費能力的方法，其特征在于，所述步驟D中具體是使用Kafka提供的API建立Kafka的消費端消費者，并使用assign方法指定消費的分區以及使用seek方法指定消費的開始偏移量。
7.根據權利要求6所述的一種增加kafka消費能力的方法，其特征在于，所述步驟D中一個消費端消費者對應一個分區的一個分段，且該消費者開始下一次消費時，其消費開始偏移量即該分區的最后消費的結束偏移量，且每個消費者的每次消費長度等于對應分段的步長T。
8.根據權利要求7所述的一種增加kafka消費能力的方法，其特征在于，所述步驟E中，當個線程都正確結束后，即判定完成消費過程，其中，Ni為第i個分區的分段數量，n為所有的分區總數量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于四川長虹電器股份有限公司，未經四川長虹電器股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910907527.5/1.html，轉載請聲明來源鉆瓜專利網。
