[發(fā)明專利]一種日志信息的處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410577862.0
• 申請(qǐng)日: 2014-10-24
• 公開（公告）號(hào): CN104391781A
• 公開（公告）日: 2015-03-04
• 發(fā)明（設(shè)計(jì)）人: 沈玉將;張瑞道
• 申請(qǐng)（專利權(quán)）人: 蘇州闊地網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明屬于信息技術(shù)領(lǐng)域，尤其涉及一種日志信息的處理方法及系統(tǒng)。

背景技術(shù)

在當(dāng)今的大數(shù)據(jù)時(shí)代，數(shù)據(jù)的分析相當(dāng)重要，如何能在海量數(shù)據(jù)中進(jìn)行快速、有效的數(shù)據(jù)統(tǒng)計(jì)和提取往往比較困難，這樣不僅嚴(yán)重影響操作人員的工作效率，同時(shí)造成了服務(wù)器資源的浪費(fèi)。

由于現(xiàn)有的業(yè)務(wù)系統(tǒng)中的日志信息往往分別記錄在多個(gè)模塊中，并且多個(gè)模塊往往是跨網(wǎng)絡(luò)地記錄日志信息的，日志信息是按模塊劃分獨(dú)立運(yùn)行的，不能直接對(duì)日志信息進(jìn)行有效整合，并且由于多個(gè)模塊中的日志信息分析需大量的磁盤I/O操作，導(dǎo)致軟件運(yùn)行速度嚴(yán)重降低。

因此，存在有價(jià)值的關(guān)鍵數(shù)值分散于不同模塊的多個(gè)日志信息中，用戶不能快速有效地進(jìn)行日志信息的比對(duì)分析，在繁雜的日志信息中有效挖掘。

發(fā)明內(nèi)容

本發(fā)明提供一種日志信息的處理方法及系統(tǒng)，以解決上述問題至少之一。

本發(fā)明提供一種日志信息的處理方法。上述方法包括以下步驟：日志服務(wù)器接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對(duì)各業(yè)務(wù)系統(tǒng)中所述日志信息進(jìn)行整合，得到與業(yè)務(wù)系統(tǒng)一一對(duì)應(yīng)的日志文件，并分別對(duì)各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進(jìn)行統(tǒng)計(jì)；將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標(biāo)業(yè)務(wù)系統(tǒng)，所述日志服務(wù)器根據(jù)所述目標(biāo)業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級(jí)或貢獻(xiàn)率確定所述目標(biāo)業(yè)務(wù)系統(tǒng)中的目標(biāo)處理模塊；所述日志服務(wù)器在日志文件中查詢所述目標(biāo)處理模塊發(fā)送的日志信息，并處理所述日志信息。

本發(fā)明還提供一種日志信息的處理系統(tǒng)，上述系統(tǒng)包括：包括多個(gè)業(yè)務(wù)系統(tǒng)和日志服務(wù)器；所述業(yè)務(wù)系統(tǒng)包括多個(gè)處理模塊，所述業(yè)務(wù)系統(tǒng)分別與所述日志服務(wù)器連接；所述業(yè)務(wù)系統(tǒng)用于將各處理模塊的日志信息發(fā)送到所述日志服務(wù)器；所述日志服務(wù)器用于接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對(duì)各業(yè)務(wù)系統(tǒng)中所述日志信息進(jìn)行整合，得到與業(yè)務(wù)系統(tǒng)一一對(duì)應(yīng)的日志文件，并分別對(duì)各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進(jìn)行統(tǒng)計(jì)，所述日志服務(wù)器還用于將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標(biāo)業(yè)務(wù)系統(tǒng)，根據(jù)所述目標(biāo)業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級(jí)或貢獻(xiàn)率確定所述目標(biāo)業(yè)務(wù)系統(tǒng)中的目標(biāo)處理模塊，所述日志服務(wù)器在日志文件中查詢所述目標(biāo)處理模塊發(fā)送的日志信息，并處理所述日志信息。

相較于先前技術(shù)，根據(jù)本發(fā)明提供的一種日志信息的處理方法及系統(tǒng)，可以將同一業(yè)務(wù)系統(tǒng)中不同模塊下的日志信息進(jìn)行有效整合，能快速、有效地在海量數(shù)據(jù)中統(tǒng)計(jì)和提取，并且在統(tǒng)計(jì)和提取過程中可直接在日志文件中進(jìn)行，無需大量的磁盤I/O操作，節(jié)約了系統(tǒng)資源，有效提高了統(tǒng)計(jì)數(shù)據(jù)的提取速度。

附圖說明

此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1所示為根據(jù)本發(fā)明的較佳實(shí)施例提供的日志信息的處理方法的流程圖；

圖2所示為根據(jù)本發(fā)明的較佳實(shí)施例提供的日志信息的處理系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。

如圖1所示為根據(jù)本發(fā)明的較佳實(shí)施例提供的日志信息的處理方法的流程圖。如圖1所示，本發(fā)明的較佳實(shí)施例提供的日志信息的處理方法包括步驟101-103。

步驟101：日志服務(wù)器接收各業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的日志信息，分別對(duì)各業(yè)務(wù)系統(tǒng)中所述日志信息進(jìn)行整合，得到與業(yè)務(wù)系統(tǒng)一一對(duì)應(yīng)的日志文件，并分別對(duì)各業(yè)務(wù)系統(tǒng)中日志信息的接收數(shù)量進(jìn)行統(tǒng)計(jì)；

所述日志服務(wù)器通過動(dòng)態(tài)連接庫(kù)方式、串行通訊端口方式或套接字方式接收來自各所述業(yè)務(wù)系統(tǒng)的所述日志信息。

日志服務(wù)器分別對(duì)各業(yè)務(wù)系統(tǒng)中所述日志信息進(jìn)行整合的過程包括：將業(yè)務(wù)系統(tǒng)中各處理模塊發(fā)送的所述日志信息按照時(shí)間順序進(jìn)行排序或者按照日志類型對(duì)日志信息進(jìn)行分類統(tǒng)計(jì)，合成得到一個(gè)日志文件。

日志服務(wù)器分別對(duì)各業(yè)務(wù)系統(tǒng)中所述日志信息進(jìn)行整合的過程包括：所述日志信息中包含有標(biāo)識(shí)信息，所述日志服務(wù)器根據(jù)所述標(biāo)識(shí)信息對(duì)所述日志信息進(jìn)行分類，將同一標(biāo)識(shí)信息的日志信息進(jìn)行整合，得到一個(gè)日志文件。

具體而言，日志信息的首行都攜帶有標(biāo)識(shí)信息，將同一標(biāo)識(shí)信息的日志信息進(jìn)行整合。

步驟102：將所述接收數(shù)量大于第一預(yù)設(shè)值的業(yè)務(wù)系統(tǒng)作為目標(biāo)業(yè)務(wù)系統(tǒng)，所述日志服務(wù)器根據(jù)所述目標(biāo)業(yè)務(wù)系統(tǒng)中各處理模塊的優(yōu)先級(jí)或貢獻(xiàn)率確定所述目標(biāo)業(yè)務(wù)系統(tǒng)中的目標(biāo)處理模塊；