[發(fā)明專利]一種業(yè)務(wù)數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711205491.3
• 申請(qǐng)日: 2017-11-27
• 公開（公告）號(hào): CN108134814B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 黨朝欣
• 申請(qǐng)（專利權(quán)）人: 海爾優(yōu)家智能科技（北京）有限公司;青島海爾科技有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/26
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 羅丹

本發(fā)明提出了一種業(yè)務(wù)數(shù)據(jù)處理方法及裝置，該方法包括：針對(duì)消費(fèi)者端的任一業(yè)務(wù)處理單元，檢測(cè)代理端中與業(yè)務(wù)處理單元對(duì)應(yīng)的訂閱消息隊(duì)列中的消息數(shù)量，其中，每一個(gè)所述業(yè)務(wù)處理單元都對(duì)應(yīng)一個(gè)或多個(gè)訂閱消息隊(duì)列，所述業(yè)務(wù)處理單元用于處理所述訂閱消息隊(duì)列中的消息；至少根據(jù)檢測(cè)到的消息數(shù)量判斷是否需要調(diào)整業(yè)務(wù)處理單元的業(yè)務(wù)處理能力，若是，則調(diào)整業(yè)務(wù)處理單元的業(yè)務(wù)處理能力。本發(fā)明克服了現(xiàn)有技術(shù)中的分布式發(fā)布?訂閱消息系統(tǒng)所產(chǎn)生的消息擠壓的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種業(yè)務(wù)數(shù)據(jù)處理方法及裝置。

背景技術(shù)

Kafka是分布式發(fā)布-訂閱消息系統(tǒng)。Kafka是一個(gè)分布式的、可劃分的、冗余備份的持久性的日志服務(wù)。它主要用于處理活躍的流式數(shù)據(jù)。

在大數(shù)據(jù)系統(tǒng)中，常常會(huì)碰到一個(gè)問題，整個(gè)大數(shù)據(jù)是由各個(gè)子系統(tǒng)組成，數(shù)據(jù)需要在各個(gè)子系統(tǒng)中高性能、低延遲的不停流轉(zhuǎn)，因此會(huì)帶來組網(wǎng)復(fù)雜以及編網(wǎng)復(fù)雜的問題。而Kafka可以降低系統(tǒng)組網(wǎng)復(fù)雜度，降低編程復(fù)雜度，各個(gè)子系統(tǒng)不再是相互協(xié)商接口，各個(gè)子系統(tǒng)可以類似插口插在插座上一樣插在Kafka上，由Kafka承擔(dān)高速數(shù)據(jù)總線的作用。

如圖1所示，Kafka的整體架構(gòu)非常簡(jiǎn)單，是一個(gè)顯式分布式架構(gòu)，如下為Kafka中的幾個(gè)基本概念，Topic：特指Kafka處理的消息源(feeds of messages)的不同分類。Partition：Topic物理上的分組，一個(gè)Topic可以分為多個(gè)Partition，每個(gè)Partition是一個(gè)有序的隊(duì)列。Partition中的每條消息都會(huì)被分配一個(gè)有序的id。Message：消息，是通信的基本單位，每個(gè)Producer可以向一個(gè)Topic發(fā)布一些消息。Producers：消息和數(shù)據(jù)生產(chǎn)者，向Kafka的一個(gè)Topic發(fā)布消息。Consumers：消息和數(shù)據(jù)消費(fèi)者，訂閱Topics并處理其發(fā)布的消息。Broker：緩存代理，Kafka集群中的一臺(tái)或多臺(tái)服務(wù)器統(tǒng)稱為Broker。

Kafka中，生產(chǎn)者端Producer、代理端Broker和消費(fèi)者端Consumer都可以有多個(gè)。Producer、Consumer是實(shí)現(xiàn)Kafka注冊(cè)的接口，數(shù)據(jù)從Producer發(fā)送到Broker，Broker承擔(dān)一個(gè)中間緩存和分發(fā)的作用。Broker用于分發(fā)注冊(cè)到系統(tǒng)中的Consumer。Broker的作用類似于緩存，即活躍的數(shù)據(jù)和離線處理系統(tǒng)之間的緩存。

Kafka主要特點(diǎn)：同時(shí)為發(fā)布和訂閱提供高吞吐量。據(jù)了解，Kafka每秒可以生產(chǎn)約25萬消息(占50MB的存儲(chǔ)容量)，每秒處理55萬消息(占110MB的存儲(chǔ)容量)；可進(jìn)行持久化操作。將消息持久化到硬盤，因此可用于批量消費(fèi)；分布式系統(tǒng)，易于向外擴(kuò)展。所有的Producer、Broker和Consumer均為分布式的。無需停機(jī)即可擴(kuò)展機(jī)器；消息被處理的狀態(tài)是在Consumer端維護(hù)，而不是由服務(wù)器端維護(hù)，當(dāng)失敗時(shí)能自動(dòng)平衡；支持online和offline的場(chǎng)景。

在包含Kafka架構(gòu)在內(nèi)的一些系統(tǒng)架構(gòu)中，現(xiàn)有的Consumers的消息訂閱消費(fèi)模式都是耦合在具體業(yè)務(wù)場(chǎng)景中進(jìn)行消息處理的，沒有一個(gè)通用的高并發(fā)處理框架來通過簡(jiǎn)單的配置文件即可實(shí)現(xiàn)業(yè)務(wù)能力的服務(wù)器節(jié)點(diǎn)數(shù)量自動(dòng)擴(kuò)展，因此會(huì)導(dǎo)致消息處理積壓，服務(wù)器資源消耗過高，消息處理不夠及時(shí)。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是，提供一種業(yè)務(wù)數(shù)據(jù)處理方法及裝置，克服現(xiàn)有技術(shù)中的分布式發(fā)布-訂閱消息系統(tǒng)所產(chǎn)生的消息擠壓的缺陷。

本發(fā)明采用的技術(shù)方案是，業(yè)務(wù)數(shù)據(jù)處理方法，包括：

針對(duì)消費(fèi)者端的任一業(yè)務(wù)處理單元，檢測(cè)代理端中與業(yè)務(wù)處理單元對(duì)應(yīng)的訂閱消息隊(duì)列中的消息數(shù)量，其中，每一個(gè)業(yè)務(wù)處理單元都對(duì)應(yīng)一個(gè)或多個(gè)訂閱消息隊(duì)列，業(yè)務(wù)處理單元用于處理訂閱消息隊(duì)列中的消息；

至少根據(jù)檢測(cè)到的消息數(shù)量判斷是否需要調(diào)整業(yè)務(wù)處理單元的業(yè)務(wù)處理能力，若是，則調(diào)整業(yè)務(wù)處理單元的業(yè)務(wù)處理能力。