[發(fā)明專利]一種Kafka數(shù)據(jù)處理的方法和服務(wù)器

在審

• 申請?zhí)枺?/td>: 202010743890.0
• 申請日: 2020-07-29
• 公開（公告）號: CN112000489A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計）人: 王鑫
• 申請（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

本說明書提供一種Kafka數(shù)據(jù)處理的方法和服務(wù)器，該方法包括：獲取待處理數(shù)據(jù)，以及所述待處理數(shù)據(jù)對應的第一消息偏移量Offset，將所述待處理數(shù)據(jù)、第一Offset加載到共享消息隊列，當確定處理完所述共享消息隊列中的數(shù)據(jù)后，將生成的第二Offset發(fā)送給ZooKeeper組件。通過該方法，可以實現(xiàn)先處理待處理數(shù)據(jù)，在向ZooKeeper提交Offset，避免因Consumer出現(xiàn)內(nèi)存溢出或者所在服務(wù)器宕機導致向ZooKeeper提交的Offset與Consumer實際處理的數(shù)據(jù)不一致。

技術(shù)領(lǐng)域

本公開涉及大數(shù)據(jù)領(lǐng)域，尤其涉及一種Kafka數(shù)據(jù)處理的方法和服務(wù)器。

背景技術(shù)

近幾年由于大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)以及移動互聯(lián)網(wǎng)業(yè)務(wù)的數(shù)據(jù)成倍的增長，大數(shù)據(jù)對于數(shù)據(jù)準確性需求也在逐步上升。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)傳輸方式漸漸無法滿足用戶對數(shù)據(jù)準確性的需求。

Kafka架構(gòu)設(shè)計原理：

在Kafka的消費者(Consumer)中，有一個很關(guān)鍵的機制那就是消息偏移量(Offset)機制。在有了消息偏移量(Offset)機制后，即使Kafka在消費的過程中發(fā)生異常，或者引發(fā)再均衡重新分配分區(qū)的問題，在重新恢復消費時候也可以知道從哪個位置開始消費。

在Kafka里面的消息偏移量(Offset)是用來記錄消息在主題(topic)中消費進度的標志，消息偏移量(Offset)在分區(qū)中的是根據(jù)消息到達時間的順序而遞增的。在Consumer中，對于位置消息偏移量(Offset)的處理是在Consumer建立連接的時候，定時將現(xiàn)有用戶的在每個分區(qū)的消息偏移量(Offset)記錄到ZooKeeper組件中。所以每次consumer啟動的時候都要先從ZooKeeper組件中讀取記錄的Offset作為本次消費的起始點。

發(fā)明內(nèi)容

本說明書實施例提供了一種Kafka數(shù)據(jù)處理的方法和服務(wù)器，可以實現(xiàn)先處理待處理數(shù)據(jù)，在向ZooKeeper提交Offset，避免因Consumer出現(xiàn)內(nèi)存溢出或者所在服務(wù)器宕機導致向ZooKeeper提交的Offset與Consumer實際處理的數(shù)據(jù)不一致。

本說明實施例提供了一種Kafka數(shù)據(jù)處理的方法，該方法包括：

獲取待處理數(shù)據(jù)，以及所述待處理數(shù)據(jù)對應的第一消息偏移量Offset；

將所述待處理數(shù)據(jù)、第一Offset加載到共享消息隊列；

當確定處理完所述共享消息隊列中的數(shù)據(jù)后，將生成的第二Offset發(fā)送給ZooKeeper組件。

通過上述實施例可以看出，在根據(jù)第一Offset和待處理數(shù)據(jù)處理共享消息隊列時，可獲知共享消息隊列的處理完成情況，當確定處理完成時，將生成的第二Offset發(fā)送給ZooKeeper組件，以使ZooKeeper組件保存的Offset與實際對待處理數(shù)據(jù)處理的結(jié)果一致。

可選的，通過Kafka組件獲取所述待處理數(shù)據(jù)，并對所述待處理數(shù)據(jù)加載用于唯一標識所述待處理數(shù)據(jù)的ID標識。

可選的，從ZooKeeper組件中獲取與所述待處理數(shù)據(jù)對應的第一Offset，并將所述第一Offset作為起始Offset。

可選的，根據(jù)所述待處理數(shù)據(jù)、第一Offset構(gòu)造消息數(shù)據(jù)，將所述消息數(shù)據(jù)加載在共享消息隊列中。

可選的，將所述共享消息隊列中的第一Offset刪除，并生成第二Offset；

將所述第二Offset發(fā)送給ZooKeeper組件。

本說明書實施例還提供了一種服務(wù)器，所述服務(wù)器運行有Kafka組件，所述服務(wù)器包括：

獲取模塊，用于獲取待處理數(shù)據(jù)，以及所述待處理數(shù)據(jù)對應的第一消息偏移量Offset；