[發(fā)明專利]海量消息的分布式多階段持久化的系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201310654061.5
• 申請日: 2013-12-05
• 公開（公告）號: CN103607476B
• 公開（公告）日: 2017-05-17
• 發(fā)明（設計）人: 劉正云
• 申請（專利權）人: 上海普坤信息科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 上海智信專利代理有限公司31002
• 代理人: 王潔,鄭暄

技術領域

本發(fā)明涉及消息處理平臺領域，尤其涉及消息處理平臺消息處理領域，具體是指一種海量消息的分布式多階段持久化的系統(tǒng)及方法。

背景技術

消息處理平臺提供了網(wǎng)絡中最基本的連接中樞，是構筑企業(yè)神經(jīng)系統(tǒng)的必要元素，消除不同應用之間的技術差異，讓不同的應用服務器協(xié)調(diào)運作，實現(xiàn)了不同服務之間的通信與整合。

消息處理平臺上的任何一次調(diào)用，將在平臺上產(chǎn)生1、2、3、4四條記錄，見圖1標示的4個點。消息處理平臺作為企業(yè)服務連接的中樞總線，這四點的統(tǒng)計信息和報文信息必須存到數(shù)據(jù)庫中。方便查詢統(tǒng)計，對帳仲裁。

通常的實現(xiàn)方式是集成平臺接收到業(yè)務請求消息，進行持久化消息、判斷路由、協(xié)議轉(zhuǎn)換等處理；然后將業(yè)務請求消息路轉(zhuǎn)發(fā)給服務提供者；服務提供者接收到業(yè)務請求消息后，立即對業(yè)務請求消息進行處理返回給集成平臺；集成平臺再對處理結(jié)果做持久化消息、消息路由、協(xié)議轉(zhuǎn)換等處理；最終將處理結(jié)果轉(zhuǎn)發(fā)給服務消費者。如圖2所示。

這種直接進行持久化的方式受數(shù)據(jù)庫等外部條件影響很大。如果數(shù)據(jù)庫性能不高，會嚴重影響消息處理平臺的性能。

發(fā)明內(nèi)容

本發(fā)明的目的是克服了上述現(xiàn)有技術的缺點，提供了一種能夠?qū)崿F(xiàn)持久化的異步存貯和持久化地分布式存貯、通過多階段持久化大幅提升消息處理平臺的性能、具有更廣泛應用范圍的海量消息的分布式多階段持久化的系統(tǒng)及方法。

為了實現(xiàn)上述目的，本發(fā)明的海量消息的分布式多階段持久化的系統(tǒng)及方法具有如下構成：

該海量消息的分布式多階段持久化的系統(tǒng)，其主要特點是，所述的系統(tǒng)包括：

服務總線代理，用以將所述的消息處理平臺接收到的異步請求消息保存至異步信息隊列中；

服務調(diào)用監(jiān)控子系統(tǒng)，所述的服務調(diào)用監(jiān)控子系統(tǒng)包括：

日志接收引擎，用以接收異步信息發(fā)送進程發(fā)送的日志文件；

日志分析引擎，用以對所述的日志文件進行合并和分析處理；

日志存貯引擎，用以存儲所述的日志分析引擎處理的統(tǒng)計信息和報文信息。

較佳地，所述的日志存貯引擎包括：

數(shù)據(jù)庫存儲單元，用以存儲所述的日志分析引擎處理的統(tǒng)計信息；

分布式文件系統(tǒng)存儲單元，用以存儲所述的日志分析引擎處理的報文信息。

本發(fā)明還涉及一種基于所述的系統(tǒng)海量消息的分布式多階段持久化的方法，其特征在于，所述的方法包括以下步驟：

（1）所述的服務總線代理將所述的消息處理平臺接收到的異步請求消息保存至異步信息隊列中；

（2）所述的消息處理平臺通過異步信息發(fā)送進程將日志文件發(fā)送至所述的日志接收引擎；

（3）所述的日志分析引擎對所述的服務調(diào)用監(jiān)控系統(tǒng)的存儲器中存儲的日志文件進行合并和分析處理并生成統(tǒng)計信息和報文信息；

（4）所述的日志存貯引擎將所述的日志分析引擎處理生成的統(tǒng)計信息和報文信息進行保存。

較佳地，所述的服務總線代理將所述的消息處理平臺的每次服務調(diào)用原始記錄進行保存，具體為：

所述的服務總線代理采用讀寫分離技術將所述的消息處理平臺接收到的異步請求消息保存至異步信息隊列中。

較佳地，所述的消息處理平臺通過異步信息發(fā)送進程將日志文件發(fā)送至所述的日志接收引擎，包括如下步驟：

（21）服務調(diào)用監(jiān)控系統(tǒng)的日志接收引擎自動搜索所述的消息處理平臺指定目錄下的日志文件；

（22）所述的日志接收引擎通過異步信息發(fā)送進程讀取所述的消息處理平臺的日志文件并存儲至所述的服務調(diào)用監(jiān)控系統(tǒng)的存儲器中；

（23）所述的日志接收引擎將已存儲的日志文件從所述的消息處理平臺刪除；

（24）所述的服務調(diào)用監(jiān)控系統(tǒng)的日志接收引擎判斷是否有后續(xù)的日志文件需要讀取，如果是，則繼續(xù)步驟（22），否則繼續(xù)步驟（3）。

較佳地，所述的統(tǒng)計信息包含服務消費者總時差、服務提供者總時差和服務總線消耗時間總時差。

較佳地，所述的日志存貯引擎包括數(shù)據(jù)庫存儲單元和分布式系統(tǒng)存儲單元，所述的日志存貯引擎將所述的日志分析引擎處理生成的統(tǒng)計信息和報文信息進行保存，包括以下步驟：

（41）所述的數(shù)據(jù)庫存儲單元將所述的日志分析引擎處理的統(tǒng)計信息進行存儲；

（42）所述的分布式文件系統(tǒng)存儲單元將所述的日志分析引擎處理的報文信息進行存儲。

采用了該發(fā)明中的海量消息的分布式多階段持久化的系統(tǒng)及方法，具有如下有益效果：