[發明專利]分布式消息系統

有效

• 申請號: 201710637643.0
• 申請日: 2017-07-31
• 公開（公告）號: CN107465735B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 胡悅;吳文龍
• 申請（專利權）人: 杭州多麥電子商務股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 裴金華

1.一種分布式消息系統，包括用于產生主題消息數據的生產集群、存儲所述主題消息數據的服務集群、消費所述主題消息數據的消費集群、以及用于管理所述消費集群和所述服務集群的管理集群；其特征在于：所述服務集群包括用于存儲所述主題消息數據的主題分區，所述主題分區包括分布在所述服務集群的不同服務端中的主副本和從副本，所述從副本為所述主副本的冗余備份；所述生產集群中的生產端訪問所述主題分區的主副本以存儲其產生的主題消息數據，所述消費集群中的消費端訪問所述主題分區的主副本以消費所述主題分區的消息數據；所述生產集群中的生產端，輪詢各主題分區的主副本，以將其產生的主題消息數據分布式地存儲在各主題分區中；所述主副本接收存儲來自所述生產端的主題消息數據，并且更新其從副本使得所述從副本與所述主副本同步；所述主題分區包括由所述從副本組成的保持同步副本集，所述保持同步副本集內的從副本相對于其他從副本擁有更新的消息數據；當所述保持同步副本集中的所述從副本數量小于預設的最小同步副本數量時，所述主題分區不接收來自所述生產集群的主題消息數據；

在無保障等級下，所述主副本在接收到所述生產端發送的主題消息數據后，發送消息提交成功信息至所述生產端；

在快速等級下，所述主副本在接收到所述生產端發送的主題消息數據后同步給所述從副本，并且在收到第一個從副本的確定同步信息后，發送消息提交成功信息至所述生產端；

在安全等級下，所述主副本在接收到所述生產端發送的主題消息數據后同步給所述從副本，并且在收到大于所述保持同步副本集的從副本數量預設值個從副本的確定同步信息后，發送消息提交成功信息至所述生產端；

當所述主副本下線時，由保持同步副本集合中的各從副本將其最大邏輯版本號上報給所述管理集群，所述管理集群根據保持同步副本集合中所有所述從副本的最大邏輯版本號，選出最大邏輯版本號對應的從副本作為主副本。

2.根據權利要求1所述的一種分布式消息系統，其特征在于：所述主題分區接收到所述生產端發送的主題消息數據后映射到所述服務端的內存中，所述主副本提供所述主題消息數據在所述內存中的偏移地址以響應消費端對所述主題消息數據的消費請求。

3.根據權利要求2所述的一種分布式消息系統，其特征在于：所述主題分區包括數據段落跳躍表，所述數據段落跳躍表包括多個數據層；下一數據層的節點數量大于上一數據層的節點數量，并且下一數據層包括上一數據層的所有節點，位于底層的數據層包括所述數據段落跳躍表的所有節點；所述節點包括段落數據，所述段落數據包括所述主題消息數據。

4.根據權利要求3所述的一種分布式消息系統，其特征在于：所述節點包括其在下一數據層中的指針數據、所述節點所在數據層的下一節點的指針數據。

5.根據權利要求4所述的一種分布式消息系統，其特征在于：所述段落數據包括索引文件，所述索引文件記載所述主題消息數據的邏輯版本號與所述主題消息數據在內存中的偏移地址的一一映射關系；所述邏輯版本號反映所述主題消息數據到達所述服務集群的先后順序。