[發明專利]用于基于消息隊列處理不同大小的實時任務的設備和方法

在審

• 申請號: 202180003402.5
• 申請日: 2021-09-01
• 公開（公告）號: CN113950671A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 張星霞;朱祺鈞;其他發明人請求不公開姓名
• 申請（專利權）人: 香港應用科技研究院有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 深圳宜保知識產權代理事務所(普通合伙) 44588
• 代理人: 王琴;曹玉存

一種用于管理數據消息的設備包括：一個或多個生產者，其產生含有需要處理的不同大小的數據消息的數據流；一個或多個消費者，其用于處理所述數據消息；多消息隊列子系統，其用于將具有不同處理持續時間的數據消息列隊；速率限制器，其用于基于處理速度區分數據消息，以便在所述多消息隊列子系統的一個或另一個消息隊列中將所述數據消息列隊；公平調度器，其被配置成根據一個或多個消費者的處理狀態將所述數據消息調度到所述一個或多個消費者，以最大化所述設備的處理容量；以及任務分割器，其用于分割被認為過大的數據消息。

技術領域

本發明總體來說為涉及計算機數據通信和任務調度的技術，且更確切地說，涉及用于消息列隊的系統和方法。更確切地說，本發明涉及使用消息隊列處理具有不同大小的多個數據流的系統和方法。

背景技術

近年來，社交媒體已成為廣告業的重要部分。它還表現在許多業務功能中，從市場營銷、客戶關系管理到風險管理。隨著社交媒體和其它新形式的多方通信和協作技術的普及，產生了越來越多的數據，進而需要更多處理和分析以便從中提取有用信息。這些僅是對計算資源具有越來越高的要求的幾個示例性應用。包含密碼應用、監測、機器學習/人工智能(AI)應用、機器人和自主裝置等的其它應用也產生了巨大的數據量，并且對計算機處理能力有要求。

參照圖1是一個當今的數據分析平臺的示例。在此平臺中，不同任務大小的社交媒體數據的多個數據流由數據處理系統處理，所述數據處理系統包括：一個或多個生產者裝置(101)，其用于創建數據消息且將其遞送到消息隊列；消息隊列(102)，其用于從所述生產者裝置接收數據消息(103)，并且將所述數據消息調度到一個或多個消費者裝置；以及一個或多個消費者裝置(104)，其連接到消息隊列以將所述數據消息作為任務進行消費和處理。

在許多應用(例如，多事務在線應用、大數據分析、密碼驗證、數據文件下載等)中，消息隊列用于充當各種服務的中介，以負載均衡、容錯和/或并行處理的目的將任務委托給多個消費者。

傳統上，在此類采用消息隊列的系統下，即使提交的是小任務，如果隊列中在該小任務之前已經存在一些大任務，那么用戶或任務所有者通常也要等待很長時間。系統很難公平地做出響應，因為不同數據流可能是動態地加入數據分析平臺的，且數據大小在處理數據之前不可預測。在某些極端情形中，當開始處理巨大任務時，任務自身也會花費過多時間并且造成超時錯誤。同時也很難保證大量數據流的及時處理。因此，迫切地需要一種使用消息隊列公平地且及時地管理和處理數據消息和任務的技術。

發明內容

本發明提供一種采用多個消息隊列管理和處理數據消息的設備和方法，其具有公平消息調度機制、使用多個消息隊列和可調控的消息處理速度或速率，以及消息分割功能，用以解決現有技術在使用消息隊列的及時性和公平性方面的不足。

根據本發明的一個方面，本發明提供一種用于管理數據消息(或任務)的設備。所述設備包括：一個或多個生產者，其產生需要處理的不同大小的數據消息(或任務)；一個或多個消費者，其用于處理數據消息(或任務)；一個多消息隊列子系統，其允許具有不同處理持續時間的數據消息(或任務)在其中列隊；速率限制器，其基于處理速度區分數據消息(或任務)，以便在多消息隊列子系統的一個或另一個消息隊列中將所述數據消息(或任務)列隊；公平調度器，其用于根據一個或多個消費者的處理狀態將數據消息(或任務)調度到所述一個或多個消費者，以最大化設備的處理能力；以及任務分割器，其用于分割被認為過大的數據消息(或任務)。每一個數據消息(或任務)都與任務所有者相關聯，任務所有者可為人類用戶、例如組織的邏輯實體，或物理或邏輯計算裝置。多個生產者有可能產生與同一任務所有者相關聯的數據消息(或任務)。

根據一個實施例，每一個消費者都包含有速率限制器、任務分割器和用于與速率限制器和任務分割器交互的一組條件邏輯指令；其中所述交互包含接收來自速率限制器的輸出，引導數據消息(或任務)進行處理、重新列隊或分割，以及觸發任務分割器將被認為過大的數據消息(或任務)分割成較小的子數據消息(或子任務)。