[發明專利]消息數據服務集群

有效

• 申請號: 201710637641.1
• 申請日: 2017-07-31
• 公開（公告）號: CN107295106B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 胡悅;吳文龍
• 申請（專利權）人: 杭州多麥電子商務股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/58
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 裴金華

本發明涉及消息處理領域，具體涉及一種消息數據服務集群，包括用于存儲主題消息數據的主題分區，所述主題分區包括分布在所述服務集群的不同服務端；其特征在于：所述主題消息數據以內存模式或者文件模式存儲在所述服務集群中；所述內存模式下，所述主題分區接收生產端產生的所述主題消息數據并映射到所述服務端的內存中；所述文件模式下，所述主題分區接收生產端產生的所述主題消息數據并存儲到所屬服務端的硬盤中。

技術領域

本發明涉及消息處理領域，具體涉及一種消息數據服務集群。

背景技術

目前用于消息（如日志）處理的消息系統很多，比較流行的是分布式消息系統。

分布式消息系統框架如圖1所示。包括Producer（消息生產者，簡稱PD）、Agent（消息緩存者），Consumer（消息處理者，簡稱CS）以及第三方管理集群，每個角色都可以有多個。Producer發送消息到Agent，消息持久化存儲在Agent上，Consumer再從Agent取得消息進行處理。第三方管理集群用來存儲Producer，Consumer與Agent的一些狀態信息。

分布式消息系統基于消息的主題（Topic）進行消息管理。在消息存儲設備中也是基于主題來進行存儲的。并且是以文件模式持久化在服務端的硬盤中。這種類型的主題消息數據使用文件進行存儲不太方便。首先，文件存儲是針對生命周期相對較長的消息設計的，不能及時的淘汰過期數據；其次，對于文件存儲而言，能夠被消費的數據一定是已經落地（即持久化到硬盤的、具有有效邏輯版本號）的主題消息數據，而文件存儲模式下主題消息數據被接收到落地之間有時間差，不能及時被消費。

發明內容

本發明為了解決上述技術問題，提出了一種消息數據服務集群，包括用于存儲主題消息數據的主題分區，所述主題分區包括分布在所述服務集群的不同服務端；其特征在于：所述主題消息數據以內存模式或者文件模式存儲在所述服務集群中；所述內存模式下，所述主題分區接收生產端產生的所述主題消息數據并映射到所述服務端的內存中；所述文件模式下，所述主題分區接收生產端產生的所述主題消息數據并存儲到所屬服務端的硬盤中。

作為優選，所述主題分區包括數據段落，所述數據段落包括所述主題消息數據和索引文件；所述索引文件記在所述主題消息數據的邏輯版本號與所述主體消息數據的物理偏移的一一映射關系。

作為優選，所述邏輯版本號反映所述主題消息數據到達所述服務集群的先后順序。

作為優選，所述主題分區包括分布在所述服務集群的不同服務端中的主副本和從副本，所述從副本為所述主副本的冗余備份，所述主題分區通過所述主副本接收來自所述生產端的主題消息數據，所述主題分區通過所述主副本響應所述消費端的消費請求。

作為優選，所述內存模式下，所述主題分區包括數據段落跳躍表，所述數據段落跳躍表包括多個數據層；下一數據層的節點數量大于上一數據層的節點數量，并且下一數據層包括上一數據層的所有節點，位于底層的數據層包括所述數據段落跳躍表的所有節點；所述節點包括段落數據，所述段落數據包括所述主題消息數據；所述節點包括其在下一數據層中的指針數據、所述節點所在數據層的下一節點的指針數據。

作為優選，所述文件模式下，所述主體分區記載所述數據段落與所述數據段落中的主題消息數據的物理偏移的范圍。

作為優選，所述主副本記錄其最新接收到的所述主題消息數據的有效邏輯版本號和緩存在內存中的所述主體消息數據的緩存邏輯版本號。

作為優選，生產端輪詢各主題分區的主副本，以將其產生的主題消息數據分布式地存儲在各主題分區中。

作為優選，消費端輪詢各主題分區，以消費所述主題消息數據。

作為優選，所述主題分區在同一時刻最多允許同一消費集群中的一個消費端消費其主題消息數據。

附圖說明