[發(fā)明專利]一種海量日志統(tǒng)計(jì)分析系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201210450550.4
• 申請日: 2012-11-12
• 公開（公告）號: CN103812679B
• 公開（公告）日: 2018-01-30
• 發(fā)明（設(shè)計(jì)）人: 張捃
• 申請（專利權(quán)）人: 深圳中興網(wǎng)信科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司11270
• 代理人: 王黎延,任媛

技術(shù)領(lǐng)域

本發(fā)明涉及通信網(wǎng)絡(luò)中的日志統(tǒng)計(jì)分析技術(shù)，尤其涉及一種海量日志統(tǒng)計(jì)分析系統(tǒng)和方法。

背景技術(shù)

隨著現(xiàn)代通信技術(shù)的飛速發(fā)展以及人們信息量需求的增大，行業(yè)用戶的網(wǎng)絡(luò)結(jié)構(gòu)變的越來越復(fù)雜。網(wǎng)絡(luò)的集中帶動數(shù)據(jù)和應(yīng)用的集中，各級數(shù)據(jù)中心應(yīng)用系統(tǒng)越來越龐大，管理復(fù)雜度越來越高。對于安全管理人員來說，需要定期分析大量網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、數(shù)據(jù)庫和主機(jī)等產(chǎn)生的海量日志。通過對海量日志的統(tǒng)計(jì)分析，識別出潛在的安全風(fēng)險(xiǎn)。

目前，對海量日志的統(tǒng)計(jì)分析一般采用三種方式：第一種是將IT日志存儲在數(shù)據(jù)庫，通過應(yīng)用取出日志數(shù)據(jù)，直接使用滑動窗口的方式進(jìn)行本地統(tǒng)計(jì)分析，但是，這種方式在海量日志情況下，取到本地的數(shù)據(jù)量太大，應(yīng)用的處理效率低，難以承受資源消耗的壓力；第二種是將日志存儲在數(shù)據(jù)庫，利用數(shù)據(jù)庫做統(tǒng)計(jì)分析，但是，由于事件起止時(shí)間難以確定，所以通過數(shù)據(jù)庫做統(tǒng)計(jì)分析效率低，數(shù)據(jù)庫資源消耗大；第三種是對獲取到的日志通過時(shí)間滑動窗口做實(shí)時(shí)統(tǒng)計(jì)分析，此種方式的優(yōu)點(diǎn)是較實(shí)時(shí)，但是，如果統(tǒng)計(jì)時(shí)間周期過長，比如一天內(nèi)同一賬號相關(guān)操作超過N次，時(shí)間滑動窗口的處理壓力過大，造成分析效率低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種海量日志統(tǒng)計(jì)分析系統(tǒng)和方法，能夠?qū)Ａ咳罩具M(jìn)行高效的統(tǒng)計(jì)分析。

為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明提供了一種海量日志統(tǒng)計(jì)分析系統(tǒng)，該系統(tǒng)包括：預(yù)處理模塊、時(shí)間滑動窗口模塊和日志結(jié)果模塊；其中，

所述預(yù)處理模塊，用于存儲采集到的日志，根據(jù)配置的統(tǒng)計(jì)分析策略對日志進(jìn)行預(yù)處理，并將預(yù)處理結(jié)果發(fā)送至?xí)r間滑動窗口模塊；

所述時(shí)間滑動窗口模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略對所述預(yù)處理結(jié)果進(jìn)行分析，并將分析結(jié)果發(fā)送至日志結(jié)果模塊；

所述日志結(jié)果模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句，向用戶提供檢索到的日志信息。

上述方案中，所述系統(tǒng)進(jìn)一步包括：配置模塊，用于配置統(tǒng)計(jì)分析策略，并發(fā)送至預(yù)處理模塊、時(shí)間滑動窗口模塊和日志結(jié)果模塊。

上述方案中，所述日志結(jié)果模塊，進(jìn)一步用于：根據(jù)配置的用戶權(quán)限信息提供日志檢索功能給具有權(quán)限的用戶。

上述方案中，所述配置模塊包括權(quán)限配置模塊和策略配置模塊；其中，

所述權(quán)限配置模塊，用于配置用戶權(quán)限信息，并發(fā)送至日志結(jié)果模塊；

所述策略配置模塊，用于配置統(tǒng)計(jì)分析策略，并發(fā)送至預(yù)處理模塊、時(shí)間滑動窗口模塊和日志結(jié)果模塊。

上述方案中，所述預(yù)處理模塊包括日志存儲模塊和分析預(yù)處理模塊；其中，

所述日志存儲模塊，用于存儲采集到的日志；

所述分析預(yù)處理模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略對日志進(jìn)行預(yù)處理，并將預(yù)處理結(jié)果發(fā)送至?xí)r間滑動窗口模塊。

上述方案中，所述日志結(jié)果模塊包括日志拼裝模塊和日志檢索模塊；其中，

所述日志拼裝模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句；

所述日志檢索模塊，用于向用戶提供檢索到的日志信息。

上述方案中，所述日志檢索模塊，進(jìn)一步用于根據(jù)配置的用戶權(quán)限信息將檢索到的日志信息提供給對應(yīng)檢索權(quán)限的用戶。

本發(fā)明提供了一種海量日志統(tǒng)計(jì)分析方法，該方法包括：

根據(jù)配置的統(tǒng)計(jì)分析策略對日志進(jìn)行預(yù)處理，得到預(yù)處理結(jié)果；

根據(jù)配置的統(tǒng)計(jì)分析策略對所述預(yù)處理結(jié)果進(jìn)行分析，得到分析結(jié)果；

根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句，向用戶提供檢索到的日志信息。

上述方案中，所述向用戶提供檢索到的日志信息，包括：

根據(jù)配置的用戶權(quán)限信息將檢索到的日志信息提供給對應(yīng)檢索權(quán)限的用戶。

上述方案中，所述預(yù)處理包括：

將預(yù)處理操作編成相應(yīng)的MapReduce方法；

將MapReduce方法并發(fā)在分布式數(shù)據(jù)節(jié)點(diǎn)上，根據(jù)配置的統(tǒng)計(jì)分析策略對日志進(jìn)行預(yù)處理。

本發(fā)明提供的海量日志統(tǒng)計(jì)分析系統(tǒng)和方法，將預(yù)處理模塊、時(shí)間滑動窗口模塊內(nèi)置到所述系統(tǒng)中，預(yù)處理模塊根據(jù)配置好的預(yù)處理策略對日志進(jìn)行統(tǒng)計(jì)，確定了事件起止時(shí)間及統(tǒng)計(jì)時(shí)間周期，時(shí)間滑動窗口模塊根據(jù)時(shí)間窗口策略對預(yù)處理結(jié)果進(jìn)行分析，如此，優(yōu)化了統(tǒng)計(jì)分析方法，提高了統(tǒng)計(jì)分析效率。