[發(fā)明專利]一種數(shù)據(jù)監(jiān)控系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410331540.8
• 申請(qǐng)日: 2014-07-11
• 公開(kāi)（公告）號(hào): CN104065540A
• 公開(kāi)（公告）日: 2014-09-24
• 發(fā)明（設(shè)計(jì)）人: 崔坤;曹魯;董海疆;張紅澤
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)之易信息技術(shù)（北京）有限公司
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;G06F17/30
• 代理公司: 北京信遠(yuǎn)達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11304
• 代理人: 趙百令;劉大玲

技術(shù)領(lǐng)域

本發(fā)明的實(shí)施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本發(fā)明的實(shí)施方式涉及一種數(shù)據(jù)監(jiān)控系統(tǒng)和方法。

背景技術(shù)

本部分旨在為權(quán)利要求書(shū)中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

隨著信息科技日新月異的發(fā)展，信息呈現(xiàn)出爆發(fā)式的膨脹，產(chǎn)生了大量待處理的實(shí)時(shí)數(shù)據(jù)，例如網(wǎng)絡(luò)監(jiān)測(cè)數(shù)據(jù)、電信呼叫記錄、金融應(yīng)用數(shù)據(jù)、Web日志及點(diǎn)擊流數(shù)據(jù)等。這些實(shí)時(shí)數(shù)據(jù)具有數(shù)據(jù)量極大、生成速度快和生成速率隨時(shí)間變化等特點(diǎn)。如何在資源有限的情況下，實(shí)現(xiàn)對(duì)這些實(shí)時(shí)數(shù)據(jù)的快速、有效處理成為一個(gè)亟需解決的問(wèn)題。

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)在處理有限的存儲(chǔ)數(shù)據(jù)方面是高效的，但是處理大量的實(shí)時(shí)數(shù)據(jù)時(shí)則效率低下。

發(fā)明內(nèi)容

因此在現(xiàn)有技術(shù)中，如何高效地處理海量實(shí)時(shí)數(shù)據(jù)，是非常令人煩惱的過(guò)程。

為此，非常需要一種改進(jìn)的數(shù)據(jù)監(jiān)控系統(tǒng)和方法，以高效地處理海量實(shí)時(shí)數(shù)據(jù)。

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種數(shù)據(jù)監(jiān)控系統(tǒng)和方法。

在本發(fā)明實(shí)施方式的第一方面中，提供了一種系統(tǒng)，包括：數(shù)據(jù)發(fā)送模塊、消息隊(duì)列模塊、數(shù)據(jù)處理模塊，其中：

所述數(shù)據(jù)發(fā)送模塊，配置用于向所述消息隊(duì)列模塊發(fā)送待處理數(shù)據(jù)；

所述消息隊(duì)列模塊，配置用于接收并存儲(chǔ)所述數(shù)據(jù)發(fā)送模塊發(fā)送的所述待處理數(shù)據(jù)，以及，向所述數(shù)據(jù)處理模塊發(fā)送待處理數(shù)據(jù)；

所述數(shù)據(jù)處理模塊，配置用于當(dāng)接收到所述消息隊(duì)列模塊發(fā)送的待處理數(shù)據(jù)時(shí)，按照預(yù)置的監(jiān)控規(guī)則對(duì)所述待處理數(shù)據(jù)進(jìn)行處理，輸出處理結(jié)果。

優(yōu)選地，所述數(shù)據(jù)發(fā)送模塊配置用于異步地向所述消息隊(duì)列模塊發(fā)送待處理數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)處理模塊配置用于：

當(dāng)所述數(shù)據(jù)處理模塊處于空閑狀態(tài)時(shí)，向所述消息隊(duì)列模塊發(fā)送數(shù)據(jù)請(qǐng)求用于請(qǐng)求待處理數(shù)據(jù)；

所述消息隊(duì)列模塊配置用于：

當(dāng)接收到所述數(shù)據(jù)處理模塊發(fā)送的數(shù)據(jù)請(qǐng)求時(shí)，向發(fā)送數(shù)據(jù)請(qǐng)求的數(shù)據(jù)處理模塊發(fā)送待處理數(shù)據(jù)。

優(yōu)選地，所述消息隊(duì)列模塊配置用于：

根據(jù)存儲(chǔ)的數(shù)據(jù)訂閱信息，向數(shù)據(jù)處理模塊發(fā)送與所述數(shù)據(jù)訂閱信息對(duì)應(yīng)的待處理數(shù)據(jù)。

優(yōu)選地，所述數(shù)據(jù)處理模塊包括數(shù)據(jù)聚合單元和數(shù)據(jù)收集單元，

所述數(shù)據(jù)聚合單元配置用于：當(dāng)所述預(yù)置的監(jiān)控規(guī)則包括監(jiān)控對(duì)象和監(jiān)控指標(biāo)時(shí)，按照預(yù)置的監(jiān)控規(guī)則將待處理數(shù)據(jù)聚合處理成以監(jiān)控對(duì)象為鍵、監(jiān)控指標(biāo)為值的鍵值對(duì)數(shù)據(jù)，以及，對(duì)聚合處理后的數(shù)據(jù)進(jìn)行哈希運(yùn)算，得到與其對(duì)應(yīng)的數(shù)據(jù)收集單元的訪問(wèn)地址，將所述聚合處理后的數(shù)據(jù)發(fā)送到相應(yīng)位置；

所述數(shù)據(jù)收集單元配置用于：接收所述數(shù)據(jù)聚合單元聚合處理后的數(shù)據(jù)，對(duì)具有相同鍵的鍵值對(duì)數(shù)據(jù)進(jìn)行合并得到合并結(jié)果。

優(yōu)選地，所述數(shù)據(jù)處理模塊包括至少兩個(gè)數(shù)據(jù)聚合單元以及至少兩個(gè)數(shù)據(jù)收集單元。

優(yōu)選地，所述系統(tǒng)包括至少兩個(gè)數(shù)據(jù)發(fā)送模塊；和/或

所述系統(tǒng)包括至少兩個(gè)消息隊(duì)列模塊。

優(yōu)選地，所述系統(tǒng)還包括：

報(bào)警模塊，配置用于對(duì)經(jīng)過(guò)數(shù)據(jù)處理模塊處理后的處理結(jié)果進(jìn)行統(tǒng)計(jì)，當(dāng)獲得的統(tǒng)計(jì)結(jié)果滿足預(yù)置的報(bào)警條件時(shí)，輸出報(bào)警提示信息。

優(yōu)選地，所述系統(tǒng)還包括：

統(tǒng)一配置模塊，配置用于對(duì)所述數(shù)據(jù)處理模塊進(jìn)行統(tǒng)一配置。

在本發(fā)明實(shí)施方式的第二方面中，提供了一種方法，應(yīng)用于數(shù)據(jù)監(jiān)控系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)發(fā)送模塊、消息隊(duì)列模塊、以及數(shù)據(jù)處理模塊，所述方法包括：

所述數(shù)據(jù)發(fā)送模塊向所述消息隊(duì)列模塊發(fā)送待處理數(shù)據(jù)；

所述消息隊(duì)列模塊接收并存儲(chǔ)所述數(shù)據(jù)發(fā)送模塊發(fā)送的所述待處理數(shù)據(jù)，以及，向所述數(shù)據(jù)處理模塊發(fā)送待處理數(shù)據(jù)；

所述數(shù)據(jù)處理模塊接收所述消息隊(duì)列模塊發(fā)送的待處理數(shù)據(jù)，按照預(yù)置的監(jiān)控規(guī)則對(duì)所述待處理數(shù)據(jù)進(jìn)行處理，輸出處理結(jié)果。

本發(fā)明實(shí)施例提供的系統(tǒng)和方法可以對(duì)實(shí)時(shí)產(chǎn)生的待處理數(shù)據(jù)，通過(guò)數(shù)據(jù)發(fā)送模塊、消息隊(duì)列模塊發(fā)送給數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理，以輸出處理結(jié)果，實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的實(shí)時(shí)處理，顯著提高了對(duì)實(shí)時(shí)數(shù)據(jù)的處理能力。

附圖說(shuō)明

通過(guò)參考附圖閱讀下文的詳細(xì)描述，本發(fā)明示例性實(shí)施方式的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發(fā)明的若干實(shí)施方式，其中：

圖1示意性地示出了本發(fā)明實(shí)施例的一種應(yīng)用場(chǎng)景；