[發(fā)明專利]一種海量日志統(tǒng)計(jì)分析系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210450550.4
• 申請(qǐng)日: 2012-11-12
• 公開（公告）號(hào): CN103812679B
• 公開（公告）日: 2018-01-30
• 發(fā)明（設(shè)計(jì)）人: 張捃
• 申請(qǐng)（專利權(quán)）人: 深圳中興網(wǎng)信科技有限公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司11270
• 代理人: 王黎延,任媛

1.一種海量日志統(tǒng)計(jì)分析系統(tǒng)，其特征在于，該系統(tǒng)包括：預(yù)處理模塊、時(shí)間滑動(dòng)窗口模塊和日志結(jié)果模塊；其中，

所述預(yù)處理模塊，用于存儲(chǔ)采集到的日志，根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)日志進(jìn)行預(yù)處理，并將預(yù)處理結(jié)果發(fā)送至?xí)r間滑動(dòng)窗口模塊；

所述時(shí)間滑動(dòng)窗口模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)所述預(yù)處理結(jié)果進(jìn)行分析，并將分析結(jié)果發(fā)送至日志結(jié)果模塊；

所述日志結(jié)果模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句，向用戶提供檢索到的日志信息；

所述統(tǒng)計(jì)分析策略包括：預(yù)處理策略、時(shí)間窗口策略、日志拼裝策略；所述預(yù)處理策略是指統(tǒng)計(jì)單位周期時(shí)間內(nèi)某類操作的信息；所述時(shí)間窗口策略是指分析某類操作的信息；所述日志拼裝策略是指根據(jù)事件發(fā)生的開始、結(jié)束時(shí)間拼裝日志檢索語句。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)進(jìn)一步包括：配置模塊，用于配置統(tǒng)計(jì)分析策略，并發(fā)送至預(yù)處理模塊、時(shí)間滑動(dòng)窗口模塊和日志結(jié)果模塊。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述日志結(jié)果模塊，進(jìn)一步用于：根據(jù)配置的用戶權(quán)限信息提供日志檢索功能給具有權(quán)限的用戶。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述配置模塊包括權(quán)限配置模塊和策略配置模塊；其中，

所述權(quán)限配置模塊，用于配置用戶權(quán)限信息，并發(fā)送至日志結(jié)果模塊；

所述策略配置模塊，用于配置統(tǒng)計(jì)分析策略，并發(fā)送至預(yù)處理模塊、時(shí)間滑動(dòng)窗口模塊和日志結(jié)果模塊。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述預(yù)處理模塊包括日志存儲(chǔ)模塊和分析預(yù)處理模塊；其中，

所述日志存儲(chǔ)模塊，用于存儲(chǔ)采集到的日志；

所述分析預(yù)處理模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)日志進(jìn)行預(yù)處理，并將預(yù)處理結(jié)果發(fā)送至?xí)r間滑動(dòng)窗口模塊。

6.根據(jù)權(quán)利要求1至5任一所述的系統(tǒng)，其特征在于，所述日志結(jié)果模塊包括日志拼裝模塊和日志檢索模塊；其中，

所述日志拼裝模塊，用于根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句；

所述日志檢索模塊，用于向用戶提供檢索到的日志信息。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述日志檢索模塊，進(jìn)一步用于根據(jù)配置的用戶權(quán)限信息將檢索到的日志信息提供給對(duì)應(yīng)檢索權(quán)限的用戶。

8.一種海量日志統(tǒng)計(jì)分析方法，其特征在于，該方法包括：

根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)日志進(jìn)行預(yù)處理，得到預(yù)處理結(jié)果；

根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)所述預(yù)處理結(jié)果進(jìn)行分析，得到分析結(jié)果；

根據(jù)配置的統(tǒng)計(jì)分析策略和所述分析結(jié)果拼裝日志檢索語句，向用戶提供檢索到的日志信息；

所述統(tǒng)計(jì)分析策略包括：預(yù)處理策略、時(shí)間窗口策略、日志拼裝策略；所述預(yù)處理策略是指統(tǒng)計(jì)單位周期時(shí)間內(nèi)某類操作的信息；所述時(shí)間窗口策略是指分析某類操作的信息；所述日志拼裝策略是指根據(jù)事件發(fā)生的開始、結(jié)束時(shí)間拼裝日志檢索語句。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述向用戶提供檢索到的日志信息，包括：

根據(jù)配置的用戶權(quán)限信息將檢索到的日志信息提供給對(duì)應(yīng)檢索權(quán)限的用戶。

10.根據(jù)權(quán)利要求8或9所述的方法，其特征在于，所述預(yù)處理包括：

將預(yù)處理操作編成相應(yīng)的MapReduce方法；

將MapReduce方法并發(fā)在分布式數(shù)據(jù)節(jié)點(diǎn)上，根據(jù)配置的統(tǒng)計(jì)分析策略對(duì)日志進(jìn)行預(yù)處理。