[發(fā)明專(zhuān)利]日志實(shí)時(shí)處理系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710840147.5
• 申請(qǐng)日: 2017-09-18
• 公開(kāi)（公告）號(hào): CN107609129B
• 公開(kāi)（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 魏自立;杜旭東;李浩;袁沖;王志超;楊勝智
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇虎科技有限公司
• 主分類(lèi)號(hào): G06F16/18
• 分類(lèi)號(hào): G06F16/18;G06F16/11;G06F16/13;G06F11/30
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

1.一種日志實(shí)時(shí)處理系統(tǒng)，包括：

日志發(fā)現(xiàn)機(jī)，適于接收位于各個(gè)機(jī)房的日志機(jī)的日志匯報(bào)消息，獲取日志機(jī)提供的待處理的日志內(nèi)容地址；

至少一個(gè)下載機(jī)，適于根據(jù)所述日志內(nèi)容地址，下載各個(gè)機(jī)房產(chǎn)生的日志內(nèi)容；

日志消費(fèi)機(jī)，適于對(duì)日志內(nèi)容進(jìn)行實(shí)時(shí)消費(fèi)處理；

至少一個(gè)上傳機(jī)，適于將日志內(nèi)容上傳到分布式存儲(chǔ)系統(tǒng)；

包括所述日志發(fā)現(xiàn)機(jī)、所述下載機(jī)、所述日志消費(fèi)機(jī)以及所述上傳機(jī)的所述日志實(shí)時(shí)處理系統(tǒng)設(shè)置在一個(gè)機(jī)房中；

其中，所述日志消費(fèi)機(jī)包括至少一個(gè)第二線程處理模塊，所述第二線程處理模塊適于對(duì)第二日志獲取模塊提供的日志內(nèi)容進(jìn)行實(shí)時(shí)消費(fèi)處理；

所述第二線程處理模塊進(jìn)一步包括：

規(guī)則計(jì)數(shù)處理單元，適于統(tǒng)計(jì)命中云規(guī)則平臺(tái)提供的一個(gè)或多個(gè)規(guī)則的日志內(nèi)容的數(shù)量；

最近日志內(nèi)容查詢(xún)處理單元，適于查詢(xún)最近命中云規(guī)則平臺(tái)提供的一個(gè)或多個(gè)規(guī)則的預(yù)設(shè)數(shù)量的日志內(nèi)容；

日志回傳處理單元，適于將命中規(guī)則的日志內(nèi)容的數(shù)量和/或命中規(guī)則的預(yù)設(shè)數(shù)量的日志內(nèi)容回傳至一個(gè)或多個(gè)機(jī)房；

和/或，日志推送處理單元，適于將日志內(nèi)容推送給下游服務(wù)器。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括：第一處理隊(duì)列，適于獲取并保存所述至少一個(gè)下載機(jī)提供的日志內(nèi)容地址以及日志內(nèi)容，將日志內(nèi)容地址以及日志內(nèi)容提供給所述日志消費(fèi)機(jī)；

第二處理隊(duì)列，適于獲取并保存所述至少一個(gè)下載機(jī)提供的日志內(nèi)容地址以及日志內(nèi)容，將日志內(nèi)容地址以及日志內(nèi)容提供給所述至少一個(gè)上傳機(jī)。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，所述實(shí)時(shí)消費(fèi)處理包括：規(guī)則計(jì)數(shù)處理、最近日志內(nèi)容查詢(xún)處理、日志回傳處理和/或日志推送處理。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的系統(tǒng)，所述下載機(jī)進(jìn)一步包括：

第一主進(jìn)程模塊，適于創(chuàng)建至少一個(gè)第一線程處理模塊，控制所述至少一個(gè)第一線程處理模塊處理下載任務(wù)；

第一日志獲取模塊，適于從日志發(fā)現(xiàn)機(jī)獲取待處理的日志內(nèi)容地址；

至少一個(gè)第一線程處理模塊，適于利用第一日志獲取模塊提供的日志內(nèi)容地址，下載各個(gè)機(jī)房產(chǎn)生的日志內(nèi)容。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，所述下載機(jī)還包括：第一監(jiān)控模塊，適于監(jiān)控并定時(shí)輸出所述第一日志獲取模塊以及所述至少一個(gè)第一線程處理模塊的狀態(tài)信息；

所述第一主進(jìn)程模塊進(jìn)一步適于：根據(jù)所述至少一個(gè)第一線程處理模塊的狀態(tài)信息優(yōu)化分配下載任務(wù)。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，所述下載機(jī)還包括：第一處理通道，適于緩存下載任務(wù)。

7.根據(jù)權(quán)利要求2-3任一項(xiàng)所述的系統(tǒng)，所述日志消費(fèi)機(jī)進(jìn)一步包括：

第二主進(jìn)程模塊，適于創(chuàng)建至少一個(gè)第二線程處理模塊，控制所述至少一個(gè)第二線程處理模塊處理實(shí)時(shí)消費(fèi)任務(wù)；

第二日志獲取模塊，適于從第一處理隊(duì)列中獲取日志內(nèi)容地址以及日志內(nèi)容。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，所述日志消費(fèi)機(jī)還包括：第二監(jiān)控模塊，適于監(jiān)控并定時(shí)輸出所述第二日志獲取模塊以及所述至少一個(gè)第二線程處理模塊的狀態(tài)信息；

第二主進(jìn)程模塊進(jìn)一步適于：根據(jù)所述至少一個(gè)第二線程處理模塊的狀態(tài)信息優(yōu)化分配實(shí)時(shí)消費(fèi)任務(wù)。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，所述日志消費(fèi)機(jī)還包括：第二處理通道，適于緩存實(shí)時(shí)消費(fèi)任務(wù)。

10.根據(jù)權(quán)利要求2-3任一項(xiàng)所述的系統(tǒng)，所述上傳機(jī)進(jìn)一步包括：

第三主進(jìn)程模塊，適于創(chuàng)建至少一個(gè)第三線程處理模塊，控制所述至少一個(gè)第三線程處理模塊處理上傳任務(wù)；

第三日志獲取模塊，適于從第二處理隊(duì)列中獲取日志內(nèi)容地址以及日志內(nèi)容；

至少一個(gè)第三線程處理模塊，適于將第三日志獲取模塊提供的日志內(nèi)容上傳到分布式存儲(chǔ)系統(tǒng)。