[發(fā)明專利]基于RabbitMQ的分布式消息發(fā)布系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810041672.5
• 申請(qǐng)日: 2018-01-16
• 公開（公告）號(hào): CN108199896A
• 公開（公告）日: 2018-06-22
• 發(fā)明（設(shè)計(jì)）人: 王劍冰;劉波;肖憶南
• 申請(qǐng)（專利權(quán)）人: 中電福富信息科技有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/08
• 代理公司: 福州君誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 35211
• 代理人: 彭東

本發(fā)明基于RabbitMQ的分布式消息發(fā)布系統(tǒng)，其包括管理平臺(tái)模塊、數(shù)據(jù)節(jié)點(diǎn)模塊和客戶端模塊。管理平臺(tái)模塊包括平臺(tái)前端和平臺(tái)后臺(tái)程序集群，平臺(tái)后臺(tái)程序集群內(nèi)置事件總線，多個(gè)平臺(tái)后臺(tái)程序通過(guò)事件總線維持元數(shù)據(jù)一致。平臺(tái)后臺(tái)程序集群與數(shù)據(jù)節(jié)點(diǎn)和客戶端通訊連接，客戶端連接數(shù)據(jù)節(jié)點(diǎn)。數(shù)據(jù)節(jié)點(diǎn)具有多個(gè)分組，每個(gè)分組包括多個(gè)VBroker，每個(gè)VBroker包括一個(gè)Broker或者一對(duì)Broker鏡像。管理平臺(tái)模塊集成數(shù)據(jù)節(jié)點(diǎn)的自動(dòng)部署、隊(duì)列/廣播的維護(hù)以及數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)監(jiān)控，客戶端模塊用于獲取數(shù)據(jù)節(jié)點(diǎn)配置信息，并將請(qǐng)求均勻發(fā)至數(shù)據(jù)節(jié)點(diǎn)。數(shù)據(jù)節(jié)點(diǎn)用于接收客戶端請(qǐng)求，進(jìn)行消息收發(fā)。本發(fā)明提供了簡(jiǎn)單、易用、可靠的分布式消息平臺(tái)。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式技術(shù)領(lǐng)域，尤其涉及基于RabbitMQ的分布式消息發(fā)布系統(tǒng)。

背景技術(shù)

電信運(yùn)營(yíng)商的多個(gè)系統(tǒng)間常常需要進(jìn)行數(shù)據(jù)和消息的傳輸，但系統(tǒng)間的耦合度過(guò)高不利于系統(tǒng)的穩(wěn)定、高效和健壯，需要采用異步通信的方式來(lái)解耦并降低系統(tǒng)的風(fēng)險(xiǎn)。傳統(tǒng)的單機(jī)版消息中間件在擴(kuò)展性及高可用方面存在障礙，如消息服務(wù)器掛機(jī)則相關(guān)的系統(tǒng)均受影響。在高并發(fā)、大壓力的情況下，單機(jī)的性能無(wú)法支撐。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供基于RabbitMQ的分布式消息發(fā)布系統(tǒng)。降低了分布式消息系統(tǒng)安裝及運(yùn)維的復(fù)雜度，實(shí)現(xiàn)了在線擴(kuò)縮容、集群水平擴(kuò)展、負(fù)載均衡、集群高可用、安全隔離的特性，增強(qiáng)了消息收發(fā)的可靠性。

本發(fā)明采用的技術(shù)方案是：

基于RabbitMQ的分布式消息發(fā)布系統(tǒng)，其包括管理平臺(tái)模塊、數(shù)據(jù)節(jié)點(diǎn)模塊和客戶端模塊；

管理平臺(tái)模塊包括平臺(tái)前端和平臺(tái)后臺(tái)程序集群，平臺(tái)前端連接平臺(tái)后臺(tái)程序集群，平臺(tái)后臺(tái)程序集群通過(guò)內(nèi)置事件總線維持元數(shù)據(jù)的一致；平臺(tái)后臺(tái)程序集群與數(shù)據(jù)節(jié)點(diǎn)和客戶端通訊連接，客戶端連接數(shù)據(jù)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)具有多個(gè)分組，每個(gè)分組包括多個(gè)VBroker，每個(gè)VBroker包括一個(gè)Broker或者一對(duì)Broker鏡像；

管理平臺(tái)模塊集成數(shù)據(jù)節(jié)點(diǎn)的自動(dòng)部署、隊(duì)列/廣播的維護(hù)以及數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)監(jiān)控，客戶端模塊通過(guò)管理平臺(tái)模塊獲取數(shù)據(jù)節(jié)點(diǎn)的集群配置信息，并將請(qǐng)求均勻發(fā)至數(shù)據(jù)節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn)用于消息的收發(fā)處理。

進(jìn)一步地，管理平臺(tái)模塊的自動(dòng)部署具體為在平臺(tái)前端一鍵完成Erlang環(huán)境安裝、配置文件修改及RabbitMQ部署的操作。

進(jìn)一步地，管理平臺(tái)模塊的隊(duì)列/廣播的維護(hù)功能提供三種方式的廣播：匿名方式、持久化方式和擴(kuò)展通配方式。

進(jìn)一步地，管理平臺(tái)模塊的隊(duì)列/廣播的維護(hù)功能在廣播前將一個(gè)消費(fèi)ID綁定到TOPIC上并由后臺(tái)程序創(chuàng)建一用于消息收發(fā)的物理隊(duì)列。

進(jìn)一步地，管理平臺(tái)模塊對(duì)數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)監(jiān)控具體為管理平臺(tái)模塊定期采集數(shù)據(jù)節(jié)點(diǎn)的運(yùn)行狀態(tài)，并在出現(xiàn)異常情況時(shí)發(fā)出告警，如有數(shù)據(jù)節(jié)點(diǎn)異常關(guān)閉則自動(dòng)拉起。

進(jìn)一步地，客戶端模塊內(nèi)置路由策略，客戶端模塊通過(guò)路由策略將請(qǐng)求均勻地分發(fā)到分組內(nèi)的各個(gè)數(shù)據(jù)節(jié)點(diǎn)上。

進(jìn)一步地，客戶端模塊內(nèi)置故障數(shù)據(jù)節(jié)點(diǎn)的隔離和重試功能。

本發(fā)明采用以上技術(shù)方案，管理平臺(tái)模塊創(chuàng)建實(shí)際隊(duì)列用于廣播消息收發(fā)，避免客戶端閃斷窗口內(nèi)消息丟失，并提供三種廣播方式實(shí)現(xiàn)：匿名方式、持久化方式、擴(kuò)展通配方式，以適應(yīng)不同業(yè)務(wù)需要。數(shù)據(jù)節(jié)點(diǎn)采用分組(Group)管理，從而實(shí)現(xiàn)分組間數(shù)據(jù)的安全隔離；每個(gè)分組內(nèi)設(shè)多個(gè)鏡像集群(VBroker)，達(dá)到負(fù)載均衡；且分組結(jié)構(gòu)具有高可用性，分組內(nèi)部分節(jié)點(diǎn)出現(xiàn)故障不影響應(yīng)用；分組結(jié)構(gòu)便于在線擴(kuò)縮容，擴(kuò)縮容過(guò)程應(yīng)用無(wú)感知無(wú)需停機(jī)。客戶端在初始化時(shí)客戶端模塊通過(guò)管理平臺(tái)獲取到集群的配置信息，并通過(guò)路由策略使消息均勻地分發(fā)到分組的各個(gè)VBroker上，從而實(shí)現(xiàn)負(fù)載均衡。對(duì)發(fā)生故障的VBroker，客戶端內(nèi)置實(shí)現(xiàn)了故障節(jié)點(diǎn)的隔離和重試，確保系統(tǒng)的高可用。