[發明專利]一種kafka消費指定推送時間數據處理方法

在審

• 申請號: 202010699710.3
• 申請日: 2020-07-20
• 公開（公告）號: CN111931105A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 曾國江;劉躍紅;周小潤;郭倩
• 申請（專利權）人: 銀盛支付服務股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F9/54
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 劉昌剛

本發明公開了一種kafka消費指定推送時間數據處理方法，涉及數據處理技術領域；該數據處理方法包括以下的步驟：S1、獲取指定消費時間的偏移量，包括找到kafka的時間戳的步驟，以及通過kafka的時間戳獲取指定消費時間的偏移量的步驟；S2、對kafka進行設置指定偏移量；通過調用kafka Api中的Kafka Consumer，采用seek方法跳到指定Partition的指定Offset處消費；S3、啟動kafka消費程序，使設置的時間與消費數據對應的時間戳一致；本發明的有益效果是：該方法減少對重復數據的處理，保證數據質量，減緩因帶寬占用過大而影響同網段的其他消費應用的處理能力。

技術領域

本發明涉及消息處理技術領域，更具體的說，本發明涉及一種kafka消費指定推送時間數據處理方法。

背景技術

Kafka是一種分布式發布-訂閱消息系統，具備高吞吐量、持久化、副本集機制、分布式支持橫向擴展等特性。對生產者和消費者的設計完全解耦，流量可削峰、消息處理可做到異步。現在它已被很多公司作為多種類型的數據管道和消息系統使用。

為了更好的說明及理解本發明的技術方案，對Kafka的基礎概念作如下介紹：

1、生產者與消費者

對于Kafka來說客戶端有兩種基本類型，包括：生產者(Producer)、消費者(Consumer)，生產者(也稱為發布者)創建消息，而消費者(也稱為訂閱者)負責消費消息。

2、主題(Topic)與分區(Partition)

在Kafka中，消息以主題(Topic)來分類，每一個主題都對應一個「消息隊列」，即類似于數據庫中的表。但是如果把所有同類的消息都塞入到一個“中心”隊列中，勢必缺少可伸縮性，無論是生產者/消費者數目的增加，還是消息數量的增加，都可能耗盡系統的性能或存儲。對于此問題，本方案中引入了分區(Partition)的概念完成了水平擴展。

3、Broker和集群(Cluster)

一個Kafka服務器也稱為Broker，它接受生產者發送的消息并存入磁盤，Broker同時服務消費者拉取分區消息的請求，返回目前已經提交的消息。使用特定的機器硬件，一個Broker每秒可以處理成千上萬的分區和百萬量級的消息。若干個Broker 組成一個集群(Cluster)，其中集群內某個Broker會成為集群控制器(Cluster Controller)，它負責管理集群，包括分配分區到Broker、監控Broker故障等。在集群內，一個分區由一個Broker負責，這個Broker也稱為這個分區的Leader。當然一個分區可以被復制到多個Broker上來實現冗余，這樣當存在Broker故障時可以將其分區重新分配到其他Broker來負責。

在實際使用場景中，Kafka會結合其他技術一起使用，以確保當Kafka集群出現一般性問題時，仍可保障數據質量。但在重啟Kafka消費端應用程序時，默認的兩種消費機制均存在其弊端：(1)從頭消費，導致重復消費數據過多，當消費量巨大，消費時間有限時，對流量帶寬占用和消費速度依賴過大。(2)從最新數據消費，導致數據可能有缺失，影響最終數據質量。

發明內容

為了克服現有技術的不足，本發明提供一種kafka消費指定推送時間數據處理方法，該方法減少對重復數據的處理，保證數據質量，減緩因帶寬占用過大而影響同網段的其他消費應用的處理能力。

本發明解決其技術問題所采用的技術方案是：一種kafka消費指定推送時間數據處理方法，其特征在于：

S1、獲取指定消費時間的偏移量，包括找到kafka的時間戳的步驟，以及通過kafka的時間戳獲取指定消費時間的偏移量的步驟；