[發(fā)明專利]基于業(yè)務代理的業(yè)務消息處理方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202011496598.X
• 申請日: 2020-12-17
• 公開（公告）號: CN112579148A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設計）人: 張睿
• 申請（專利權(quán)）人: 廣州虎牙科技有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71;G06F9/50
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 劉延喜

本申請實施例提供了一種基于業(yè)務代理的業(yè)務消息處理方法，涉及計算機網(wǎng)絡領(lǐng)域，該方法通過獲取遠程配置模塊設置的業(yè)務配置信息；監(jiān)聽當前消息中間件的業(yè)務消息的積壓狀態(tài)和流式處理框架的數(shù)據(jù)處理的運行負載；根據(jù)積壓狀態(tài)和運行負載構(gòu)建擴縮容作業(yè)及其對應的消息中間件的新消息主題；將新的業(yè)務消息發(fā)送至所述消息中間件的新消息主題，并利用所述新消息主題對應的擴縮容作業(yè)按照所述業(yè)務配置信息對所述業(yè)務消息進行聚合處理。本技術(shù)方案通過在業(yè)務消息積壓時構(gòu)建資源量更大的作業(yè)進行處理，在業(yè)務消息量少時構(gòu)建資源量少的作業(yè)進行處理，從而實現(xiàn)業(yè)務代理系統(tǒng)中的資源的合理利用，避免了業(yè)務消息積壓和資源浪費，同時提高資源利用率。

技術(shù)領(lǐng)域

本申請涉及計算機網(wǎng)絡領(lǐng)域，具體而言，本申請涉及一種基于業(yè)務代理的業(yè)務消息處理方法、裝置及電子設備，還涉及一種計算機可讀存儲介質(zhì)。

背景技術(shù)

近年來，隨著互聯(lián)網(wǎng)應用的興起，用戶越來越傾向于選擇在線視頻直播觀看主播進行主播。在直播過程中，觀眾用戶會向主播進行送禮，或者在直播間發(fā)送彈幕和發(fā)言等，直播平臺需要對這些業(yè)務消息進行處理，以監(jiān)控直播平臺的運營情況。

由于需要處理的業(yè)務消息較多，需要對業(yè)務消息進行聚合處理，例如，統(tǒng)計某主播1小時內(nèi)的收禮數(shù)量，某個直播間每分鐘的發(fā)言和彈幕數(shù)據(jù)量，提高處理效率。目前，常用的業(yè)務消息處理技術(shù)是基于Flink開源流處理框架自帶Flink SQL API的流式處理開發(fā)方式，通過業(yè)務方將需要聚合處理的源數(shù)據(jù)生產(chǎn)至該源數(shù)據(jù)對應的消息中間件，編寫Flink SQL語句消費該源數(shù)據(jù)中業(yè)務消息指定的消息主題，執(zhí)行業(yè)務聚合操作并保存數(shù)據(jù)庫中存儲；或者編寫流處理程序利用流式處理框架系統(tǒng)上的作業(yè)進行數(shù)據(jù)聚合處理。

然而，業(yè)務消息的數(shù)量很大時，消息中間件難以及時處理業(yè)務消息時需要對業(yè)務消息進行緩存處理，但緩存容易受到服務故障影響而導致數(shù)據(jù)丟失，當業(yè)務消息量少時，流式處理框架系統(tǒng)上的作業(yè)無法拉取到充足的業(yè)務消息，導致作業(yè)上的資源浪費，影響業(yè)務處理系統(tǒng)的性能。

發(fā)明內(nèi)容

本申請的目的旨在至少解決上述技術(shù)缺陷之一，提出以下技術(shù)方案：

第一方面，本申請實施例提供一種基于業(yè)務代理的業(yè)務消息處理方法，包括以下步驟：

獲取遠程配置模塊設置的業(yè)務配置信息；

監(jiān)聽當前消息中間件的業(yè)務消息的積壓狀態(tài)和流式處理框架的數(shù)據(jù)處理的運行負載；

根據(jù)所述積壓狀態(tài)和運行負載構(gòu)建擴縮容作業(yè)及其對應的消息中間件的新消息主題；

將新的業(yè)務消息發(fā)送至所述消息中間件的新消息主題，并利用所述新消息主題對應的擴縮容作業(yè)按照所述業(yè)務配置信息對所述業(yè)務消息進行聚合處理。

在一種可能的實現(xiàn)方式中，所述將新的業(yè)務消息發(fā)送至所述消息中間件的新消息主題，包括：

在進行擴縮容作業(yè)處理時，從鍵值數(shù)據(jù)庫中讀取預存的映射關(guān)系；其中，所述映射關(guān)系為預先建立并保存的所述業(yè)務消息的業(yè)務標識、所述新消息主題以及所述擴縮容作業(yè)之間的映射關(guān)系；

根據(jù)所述映射關(guān)系將新的業(yè)務消息發(fā)送至相應的所述消息中間件的新消息主題。

在一種可能的實現(xiàn)方式中，所述將新的業(yè)務消息發(fā)送至所述消息中間件的新消息主題，并利用所述新消息主題對應的擴縮容作業(yè)按照所述業(yè)務配置信息對所述業(yè)務消息進行聚合處理的步驟包括：

在當前作業(yè)對應的消息中間件消息主題中的業(yè)務消息被處理完畢后，將新的業(yè)務消息發(fā)送至所述消息中間件的新消息主題；

利用所述新消息主題對應的擴縮容作業(yè)拉取所述新消息主題的業(yè)務消息，并按照所述業(yè)務配置信息對所述業(yè)務消息進行聚合處理。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述積壓狀態(tài)和運行負載構(gòu)建擴縮容作業(yè)及其對應的消息中間件的新消息主題的步驟包括：