[發(fā)明專利]日志實時處理系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710840147.5
• 申請日: 2017-09-18
• 公開（公告）號: CN107609129B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計）人: 魏自立;杜旭東;李浩;袁沖;王志超;楊勝智
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/11;G06F16/13;G06F11/30
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明公開了一種日志實時處理系統(tǒng)，該系統(tǒng)包括：日志發(fā)現(xiàn)機(jī)，適于接收位于各個機(jī)房的日志機(jī)的日志匯報消息，獲取日志機(jī)提供的待處理的日志內(nèi)容地址；至少一個下載機(jī)，適于根據(jù)日志內(nèi)容地址，下載各個機(jī)房產(chǎn)生的日志內(nèi)容；日志消費機(jī)，適于對日志內(nèi)容進(jìn)行實時消費處理；至少一個上傳機(jī)，適于將日志內(nèi)容上傳到分布式存儲系統(tǒng)。利用本發(fā)明提供的一種日志實時處理系統(tǒng)，將各個機(jī)房的產(chǎn)生的實時日志數(shù)據(jù)集中到一個機(jī)房中進(jìn)行下載、實時消費以及上傳處理，提升了實時日志處理的效率，并且能夠在發(fā)生故障或者新增業(yè)務(wù)之后，對該一個機(jī)房進(jìn)行維護(hù)或擴(kuò)展即可，能夠極大的降低維護(hù)難度及成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及一種日志實時處理系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)大數(shù)據(jù)的趨勢日益顯著，每一條互 聯(lián)網(wǎng)的業(yè)務(wù)線都在不斷地產(chǎn)生實時日志數(shù)據(jù)，對產(chǎn)生的實時日志數(shù)據(jù)進(jìn)行進(jìn) 一步地處理以對互聯(lián)網(wǎng)業(yè)務(wù)的運行進(jìn)行反饋是相當(dāng)重要的工作之一?，F(xiàn)有技 術(shù)中，對實時日志數(shù)據(jù)的分析處理是通過在各個機(jī)房中建立處理系統(tǒng)，每一 個處理系統(tǒng)針對對應(yīng)的機(jī)房進(jìn)行分析處理。

然而，現(xiàn)有技術(shù)中的這種處理系統(tǒng)散布在各個機(jī)房里，部署麻煩；并且 分別對各個機(jī)房的日志進(jìn)行處理，使得處理的文件數(shù)量大；另外，當(dāng)出現(xiàn)故 障或新增業(yè)務(wù)時，需要對每個機(jī)房的處理系統(tǒng)進(jìn)行維護(hù)，維護(hù)成本高，難度 大；同時，該處理系統(tǒng)不能實現(xiàn)將實時日志數(shù)據(jù)上傳到存儲系統(tǒng)中。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分 地解決上述問題的一種日志實時處理系統(tǒng)。

根據(jù)本發(fā)明的一個方面，提供了一種日志實時處理系統(tǒng)，包括：

日志發(fā)現(xiàn)機(jī)，適于接收位于各個機(jī)房的日志機(jī)的日志匯報消息，獲取日 志機(jī)提供的待處理的日志內(nèi)容地址；

至少一個下載機(jī)，適于根據(jù)日志內(nèi)容地址，下載各個機(jī)房產(chǎn)生的日志內(nèi) 容；

日志消費機(jī)，適于對日志內(nèi)容進(jìn)行實時消費處理；

至少一個上傳機(jī)，適于將日志內(nèi)容上傳到分布式存儲系統(tǒng)。

可選的，該系統(tǒng)還包括：第一處理隊列，適于獲取并保存至少一個下載 機(jī)提供的日志內(nèi)容地址以及日志內(nèi)容，將日志內(nèi)容地址以及日志內(nèi)容提供給 日志消費機(jī)；

第二處理隊列，適于獲取并保存至少一個下載機(jī)提供的日志內(nèi)容地址以 及日志內(nèi)容，將日志內(nèi)容地址以及日志內(nèi)容提供給至少一個上傳機(jī)。

可選的，實時消費處理包括：規(guī)則計數(shù)處理、最近日志內(nèi)容查詢處理、 日志回傳處理和/或日志推送處理。

可選的，下載機(jī)進(jìn)一步包括：

第一主進(jìn)程模塊，適于創(chuàng)建至少一個第一線程處理模塊，控制至少一個 第一線程處理模塊處理下載任務(wù)；

第一日志獲取模塊，適于從日志發(fā)現(xiàn)機(jī)獲取待處理的日志內(nèi)容地址；

至少一個第一線程處理模塊，適于利用第一日志獲取模塊提供的日志內(nèi) 容地址，下載各個機(jī)房產(chǎn)生的日志內(nèi)容。

可選的，下載機(jī)還包括：第一監(jiān)控模塊，適于監(jiān)控并定時輸出第一日志 獲取模塊以及至少一個第一線程處理模塊的狀態(tài)信息；

第一主進(jìn)程模塊進(jìn)一步適于：根據(jù)至少一個第一線程處理模塊的狀態(tài)信 息優(yōu)化分配下載任務(wù)。

可選的，下載機(jī)還包括：第一處理通道，適于緩存下載任務(wù)。

可選的，日志消費機(jī)進(jìn)一步包括：

第二主進(jìn)程模塊，適于創(chuàng)建至少一個第二線程處理模塊，控制至少一個 第二線程處理模塊處理實時消費任務(wù)；

第二日志獲取模塊，適于從第一處理隊列中獲取日志內(nèi)容地址以及日志 內(nèi)容；