[發(fā)明專利]一種日志處理系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 201710267309.0
• 申請日: 2017-04-21
• 公開（公告）號: CN107092683A
• 公開（公告）日: 2017-08-25
• 發(fā)明（設(shè)計）人: 丁錕
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 王寶筠

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，更具體地說，涉及一種日志處理系統(tǒng)和方法。

背景技術(shù)

隨著網(wǎng)絡(luò)業(yè)務(wù)的不斷發(fā)展，每個公司內(nèi)部的業(yè)務(wù)系統(tǒng)的構(gòu)建越來越多，例如OA系統(tǒng)、人力資源系統(tǒng)和物料管理系統(tǒng)等。每個業(yè)務(wù)系統(tǒng)都使用獨(dú)立的日志管理模塊，各個系統(tǒng)之間，在日志采集與處理方法上無法復(fù)用，在日志格式上存在異構(gòu)。同時，各系統(tǒng)中的日志沒有統(tǒng)一集中管理，從公司層面上造成日志管理的混亂。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出一種日志處理系統(tǒng)和方法，欲實現(xiàn)多源日志的統(tǒng)一管理，日志采集與處理的復(fù)用，以及數(shù)據(jù)格式統(tǒng)一管理的目的。

為了實現(xiàn)上述目的，現(xiàn)提出的方案如下：

一種日志處理系統(tǒng)，包括：日志接收模塊、日志存儲模塊、分布式數(shù)據(jù)庫、日志處理模塊、以及多個日志采集模塊，

所述日志采集模塊，用于采集與其對應(yīng)的業(yè)務(wù)系統(tǒng)的日志數(shù)據(jù)并發(fā)送至所述日志接收模塊；

所述日志接收模塊，用于接收每個日志采集模塊發(fā)送的日志數(shù)據(jù)并進(jìn)行預(yù)處理操作，所述預(yù)處理操作包括將每個日志采集模塊發(fā)送的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

所述日志存儲模塊，用于將經(jīng)過預(yù)處理的日志數(shù)據(jù)存儲至所述分布式數(shù)據(jù)庫中；

所述日志處理模塊，用于接收業(yè)務(wù)系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進(jìn)行相應(yīng)的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務(wù)系統(tǒng)。

優(yōu)選的，所述系統(tǒng)，還包括：

動態(tài)資源分配模塊，用于針對每個業(yè)務(wù)系統(tǒng)，對在所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)容量進(jìn)行監(jiān)測，當(dāng)日志數(shù)據(jù)容量超過與其對應(yīng)的預(yù)設(shè)容量閾值后，清除該業(yè)務(wù)系統(tǒng)在所述分布式數(shù)據(jù)庫中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預(yù)設(shè)第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務(wù)系統(tǒng)的非所述第一日志數(shù)據(jù)。

優(yōu)選的，所述系統(tǒng)，還包括：

可定制化模塊，用于利用MapReduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進(jìn)行離線分析處理。

優(yōu)選的，所述系統(tǒng)，還包括：

可定制化模塊，用于利用MapReduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進(jìn)行離線分析處理，且，還用于利用Storm對所述日志接收模塊接收的實時日志數(shù)據(jù)進(jìn)行實時分析。

優(yōu)選的，所述系統(tǒng)還包括：

可定制化模塊，利用Storm對所述日志接收模塊接收的實時日志數(shù)據(jù)進(jìn)行實時分析。

一種日志處理方法，包括：

采集多個業(yè)務(wù)系統(tǒng)的日志數(shù)據(jù)；

對每個業(yè)務(wù)系統(tǒng)對應(yīng)的日志數(shù)據(jù)進(jìn)行預(yù)處理操作，所述預(yù)處理操作包括將每個業(yè)務(wù)系統(tǒng)對應(yīng)的日志數(shù)據(jù)的格式轉(zhuǎn)換為同一格式；

將經(jīng)過預(yù)處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中；

接收業(yè)務(wù)系統(tǒng)的日志處理請求，根據(jù)所述日志處理請求進(jìn)行相應(yīng)的數(shù)據(jù)處理，并將處理結(jié)果發(fā)送至發(fā)出所述日志處理請求的業(yè)務(wù)系統(tǒng)。

優(yōu)選的，所述方法，在所述將經(jīng)過預(yù)處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：

針對每個業(yè)務(wù)系統(tǒng)，對在所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)容量進(jìn)行監(jiān)測，當(dāng)日志數(shù)據(jù)容量超過與其對應(yīng)的預(yù)設(shè)容量閾值后，清除該業(yè)務(wù)系統(tǒng)在所述分布式數(shù)據(jù)庫中存儲的第一日志數(shù)據(jù)，所述第一日志數(shù)據(jù)的容量為預(yù)設(shè)第一容量，所述第一容量大于零且小于所述容量閾值，所述第一日志數(shù)據(jù)在所述分布式數(shù)據(jù)庫中的存儲時間早于該業(yè)務(wù)系統(tǒng)的非所述第一日志數(shù)據(jù)。

優(yōu)選的，所述方法，在所述將經(jīng)過預(yù)處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：

利用MapReduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進(jìn)行離線分析處理。

優(yōu)選的，所述方法，還包括：

利用Storm對日志接收模塊接收的實時日志數(shù)據(jù)進(jìn)行實時分析；

在所述將經(jīng)過預(yù)處理的日志數(shù)據(jù)存儲至分布式數(shù)據(jù)庫中后，還包括：利用MapReduce對所述分布式數(shù)據(jù)庫中存儲的日志數(shù)據(jù)進(jìn)行離線分析處理。

優(yōu)選的，所述方法，還包括：

利用Storm對日志接收模塊接收的實時日志數(shù)據(jù)進(jìn)行實時分析。

與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案具有以下優(yōu)點(diǎn)：