[發(fā)明專利]一種快速滿足臨時性日志分析系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 201910313266.4
• 申請日: 2019-04-18
• 公開（公告）號: CN110032546A
• 公開（公告）日: 2019-07-19
• 發(fā)明（設(shè)計）人: 王淑貞
• 申請（專利權(quán)）人: 廈門大學嘉庚學院
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/26
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發(fā)明涉及一種快速滿足臨時性日志分析系統(tǒng)，包括若干個服務(wù)器、日志處理中心集群和Web服務(wù)端；所述日志處理中心集群包括日志預(yù)處理模塊和日志通用計算模塊；所述日志處理中心集群收集各服務(wù)器的日志，并進行分析；所述Web服務(wù)端用于提供可視化操作頁面給用戶，并將日志處理中心集群的處理結(jié)果以圖表方式呈現(xiàn)。本發(fā)明既可以指定過濾條件，搜索滿足條件的日志，也可以對滿足條件的日志進行多維度的匯總分析。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體涉及一種快速滿足臨時性日志分析系統(tǒng)及其方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，系統(tǒng)變得越來越龐大復(fù)雜，各種日志越來越多，業(yè)務(wù)特性分析、系統(tǒng)運營情況、故障定位等都需要分析日志，類似這種觸發(fā)式日志分析的需求越來越多，對于云廠商更是如此。有時可能需要查詢?nèi)罩居涗洠袝r又可能需要對某個范圍的日志進行分析匯總。

此類需求的特點之一是臨時性，短期內(nèi)需要，甚至可能是一次性的；特點之二是突發(fā)性，無法像常規(guī)需求那樣事先提取規(guī)則并實現(xiàn)；特點之三是變化性，搜索和計算要求多樣化，很難有統(tǒng)一的腳本可用。目前一般是通過臨時腳本的編寫來達到分析的目的，這種方式有如下3個主要缺點：腳本基本都是一次性的，復(fù)用性不強，耗費較多人力資源；無法快速響應(yīng)這類需求，對于異常定位、排除故障、業(yè)務(wù)分析等都非常不利；分析的門檻較高，需要此類分析的人員都對腳本較為熟悉。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種快速滿足臨時性日志分析系統(tǒng)，可以快速滿足用戶各種各樣的分析需求，提高這類需求的普適性和靈活性。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種快速滿足臨時性日志分析系統(tǒng)，包括若干個服務(wù)器、日志處理中心集群和Web服務(wù)端；所述日志處理中心集群包括日志預(yù)處理模塊和日志通用計算模塊；所述日志處理中心集群收集各服務(wù)器的日志，并進行分析；所述Web服務(wù)端用于提供可視化操作頁面給用戶，并將日志處理中心集群的處理結(jié)果以圖表方式呈現(xiàn)。

進一步的，所述預(yù)處理模塊包括日志收集模塊、日志解析模塊、日志存儲模塊；所述日志收集模塊定時收集各臺服務(wù)器上產(chǎn)生的原始日志；所述日志解析模塊對原始日志解析出日志原有字段并擴展出用戶常用字段，并按預(yù)設(shè)的字段順序，將日志以文件或壓縮文件的形式存儲于日志存儲模塊。

進一步的，所述日志通用計算模塊包括通用搜索引擎和通用計算引擎；所述通用搜索引擎實現(xiàn)按字段進行搜索；所述通用計算引擎實現(xiàn)靈活的多維度計算，用戶可以指定統(tǒng)計維度和統(tǒng)計操作。

一種快速滿足臨時性日志分析系統(tǒng)的控制方法，包括以下步驟：

步驟S1:用戶通過Web可視化模塊發(fā)起臨時性分析請求；

步驟S2:通過觸發(fā)通用搜索引擎進行過濾，并判斷是否涉及統(tǒng)計分析；若涉及統(tǒng)計分析，則觸發(fā)通用計算引擎進行統(tǒng)計，并返回統(tǒng)計數(shù)據(jù)給Web可視化模塊；否則直接返回日志記錄給Web可視化模塊；

步驟S3:Web可視化模塊將結(jié)果以圖表方式呈現(xiàn)給用戶。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下有益效果：

1、本發(fā)明可以指定過濾條件，搜索滿足條件的日志，也可以對滿足條件的日志進行多維度的匯總分析。

2、本發(fā)明可以快速滿足用戶各種各樣的分析需求，提高這類需求的普適性和靈活性；

3、本發(fā)明可以大大降低日志分析的門檻，用戶無須知曉日志格式、日志存儲和統(tǒng)計方法等相關(guān)內(nèi)容。

附圖說明

圖1是本發(fā)明系統(tǒng)結(jié)構(gòu)圖；

圖2是本發(fā)明實施例中用戶調(diào)用日志示意圖；

圖3是本發(fā)明實施例中用戶請求處理流程圖。