[發明專利]一種Kafka數據處理的方法和服務器在審
| 申請號： | 202010743890.0 | 申請日： | 2020-07-29 |
| 公開（公告）號： | CN112000489A | 公開（公告）日： | 2020-11-27 |
| 發明（設計）人： | 王鑫 | 申請（專利權）人： | 新華三大數據技術有限公司 |
| 主分類號： | G06F9/54 | 分類號： | G06F9/54 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 450000 河南省鄭州市鄭州高*** | 國省代碼： | 河南;41 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 kafka 數據處理 方法 服務器 | ||
1.一種Kafka數據處理的方法，其特征在于，所述方法包括：
獲取待處理數據，以及所述待處理數據對應的第一消息偏移量Offset；
將所述待處理數據、第一Offset加載到共享消息隊列；
當確定處理完所述共享消息隊列中的數據后，將生成的第二Offset發送給ZooKeeper組件。
2.根據權利要求1所述的方法，其特征在于，所述獲取待處理數據，具體包括：
通過Kafka組件獲取所述待處理數據，并對所述待處理數據加載用于唯一標識所述待處理數據的ID標識。
3.根據權利要求1所述的方法，其特征在于，獲取所述第一Offset的方法包括：
從ZooKeeper組件中獲取與所述待處理數據對應的第一Offset，并將所述第一Offset作為起始Offset。
4.根據權利要求1所述的方法，其特征在于，所述將所述待處理數據、第一Offset加載到共享消息隊列，具體包括：
根據所述待處理數據、第一Offset構造消息數據，將所述消息數據加載在共享消息隊列中。
5.根據權利要求1所述的方法，其特征在于，所述當確定處理完所述共享消息隊列中的數據后，將生成的第二Offset發送給ZooKeeper組件，具體包括：
將所述共享消息隊列中的第一Offset刪除，并生成第二Offset；
將所述第二Offset發送給ZooKeeper組件。
6.一種服務器，其特征在于，所述服務器運行有Kafka組件，所述服務器包括：
獲取模塊，用于獲取待處理數據，以及所述待處理數據對應的第一消息偏移量Offset；
第一處理模塊，用于將所述待處理數據、第一Offset加載到共享消息隊列；
第二處理模塊，用于當確定處理完所述共享消息隊列中的數據后，將生成的第二Offset發送給ZooKeeper組件。
7.根據權利要求6所述的服務器，其特征在于，
所述獲取模塊，具體用于通過Kafka組件獲取所述待處理數據，并對所述待處理數據加載用于唯一標識所述待處理數據的ID標識。
8.根據權利要求6所述的服務器，其特征在于，
所述獲取模塊，具體用于從ZooKeeper組件中獲取與所述待處理數據對應的第一Offset，并將所述第一Offset作為起始Offset。
9.根據權利要求6所述的服務器，其特征在于，
所述第一處理模塊，具體用于根據所述待處理數據、第一Offset構造消息數據，將所述消息數據加載在共享消息隊列中。
10.根據權利要求6所述的服務器，其特征在于，
所述第二處理模塊，具體用于當確定處理完所述共享消息隊列中的數據后，將所述共享消息隊列中的第一Offset刪除，并生成第二Offset；
將所述第二Offset發送給ZooKeeper組件。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于新華三大數據技術有限公司，未經新華三大數據技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010743890.0/1.html，轉載請聲明來源鉆瓜專利網。
