[發(fā)明專利]一種日志處理方法及電子設(shè)備、服務(wù)器、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010861335.8
• 申請日: 2020-08-25
• 公開（公告）號: CN111740884B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 何闖;陶波;趙士瑞;歐懷谷;王梟卿
• 申請（專利權(quán)）人: 云盾智慧安全科技有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24
• 代理公司: 廣州德科知識產(chǎn)權(quán)代理有限公司 44381
• 代理人: 萬振雄;楊中強(qiáng)

本申請實(shí)施例涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，公開了一種日志處理方法及電子設(shè)備、服務(wù)器、存儲介質(zhì)，能夠提高日志處理的效率。該方法包括：邊緣節(jié)點(diǎn)采集邊緣節(jié)點(diǎn)的業(yè)務(wù)程序運(yùn)行時(shí)在預(yù)設(shè)時(shí)長內(nèi)產(chǎn)生的增量日志，并按照邊緣節(jié)點(diǎn)的配置信息，對增量日志進(jìn)行流式分析處理，獲得日志統(tǒng)計(jì)數(shù)據(jù)。邊緣節(jié)點(diǎn)將日志統(tǒng)計(jì)數(shù)據(jù)上報(bào)給中心服務(wù)端，則中心服務(wù)端存儲日志統(tǒng)計(jì)數(shù)據(jù)，并通過對日志統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析獲得配置指令，再將配置指令下發(fā)給邊緣節(jié)點(diǎn)。邊緣節(jié)點(diǎn)從中心服務(wù)端接收配置指令，并根據(jù)配置指令更新配置信息。

技術(shù)領(lǐng)域

本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種日志處理方法及電子設(shè)備、服務(wù)器、存儲介質(zhì)。

背景技術(shù)

網(wǎng)絡(luò)中的監(jiān)測系統(tǒng)主要包括邊緣節(jié)點(diǎn)和云服務(wù)端兩大組件，從而形成客戶端/服務(wù)器（client/server，C/S）架構(gòu)。邊緣節(jié)點(diǎn)為被監(jiān)測設(shè)備，用于運(yùn)行業(yè)務(wù)程序并產(chǎn)生日志文件，而云服務(wù)端運(yùn)行管理平臺服務(wù)，用于對各邊緣節(jié)點(diǎn)的日志文件進(jìn)行收集和分析。傳統(tǒng)的日志處理方式是各邊緣節(jié)點(diǎn)將采集的日志上傳到云服務(wù)端，再由云服務(wù)端對多個(gè)邊緣節(jié)點(diǎn)上報(bào)的日志進(jìn)行計(jì)算分析。實(shí)踐中發(fā)現(xiàn)，這種方式下云服務(wù)端需要處理數(shù)據(jù)量巨大的日志文件，因此日志處理的效率較低。

發(fā)明內(nèi)容

本申請實(shí)施例公開了一種日志處理方法及電子設(shè)備、服務(wù)器、存儲介質(zhì)，能夠提高日志處理的效率。

本申請實(shí)施例第一方面提供一種日志處理方法，所述方法應(yīng)用于邊緣節(jié)點(diǎn)；所述方法包括：

采集所述邊緣節(jié)點(diǎn)的業(yè)務(wù)程序運(yùn)行時(shí)在預(yù)設(shè)時(shí)長內(nèi)產(chǎn)生的增量日志；

按照所述邊緣節(jié)點(diǎn)的配置信息，對所述增量日志進(jìn)行流式分析處理，獲得日志統(tǒng)計(jì)數(shù)據(jù)；

將所述日志統(tǒng)計(jì)數(shù)據(jù)上報(bào)給中心服務(wù)端，使得所述中心服務(wù)端存儲所述日志統(tǒng)計(jì)數(shù)據(jù)，并對所述日志統(tǒng)計(jì)數(shù)據(jù)進(jìn)行分析，獲得配置指令，再將所述配置指令下發(fā)給所述邊緣節(jié)點(diǎn)；

從所述中心服務(wù)端接收所述配置指令，并根據(jù)所述配置指令更新所述配置信息。

作為一種可選的實(shí)施方式，在本申請實(shí)施例第一方面中，所述配置信息包括查詢語言指令；所述按照所述邊緣節(jié)點(diǎn)的配置信息，對所述增量日志進(jìn)行流式分析處理，獲得日志統(tǒng)計(jì)數(shù)據(jù)，包括：

對所述增量日志進(jìn)行格式化處理，獲得滿足所述查詢語言指令對應(yīng)的預(yù)設(shè)格式的日志數(shù)據(jù)流；

根據(jù)所述查詢語言指令，對所述日志數(shù)據(jù)流進(jìn)行流式分析處理，獲得日志統(tǒng)計(jì)數(shù)據(jù)。

作為一種可選的實(shí)施方式，在本申請實(shí)施例第一方面中，所述根據(jù)所述查詢語言指令，對所述日志數(shù)據(jù)流進(jìn)行流式分析處理，獲得日志統(tǒng)計(jì)數(shù)據(jù)，包括：

根據(jù)所述查詢語言指令，確定所述查詢語言指令所查詢的數(shù)據(jù)類型；

根據(jù)所述日志數(shù)據(jù)流包括的分割符對所述日志數(shù)據(jù)流進(jìn)行分割，獲得多行日志數(shù)據(jù)；

獲取每行日志數(shù)據(jù)中與所述數(shù)據(jù)類型對應(yīng)的目標(biāo)數(shù)據(jù)；

按照所述查詢語言指令，對多行日志數(shù)據(jù)各自對應(yīng)的目標(biāo)數(shù)據(jù)進(jìn)行流式統(tǒng)計(jì)分析，獲得日志統(tǒng)計(jì)數(shù)據(jù)。

作為一種可選的實(shí)施方式，在本申請實(shí)施例第一方面中，所述日志統(tǒng)計(jì)數(shù)據(jù)包括日志統(tǒng)計(jì)表，所述日志統(tǒng)計(jì)表包括第一列屬性和第二列屬性，所述第一列屬性用于表示節(jié)點(diǎn)信息，所述第二列屬性用于表示處理時(shí)間；所述將所述日志統(tǒng)計(jì)數(shù)據(jù)上報(bào)給中心服務(wù)端之前，所述方法還包括：

獲取所述邊緣節(jié)點(diǎn)對應(yīng)的邊緣節(jié)點(diǎn)信息和節(jié)點(diǎn)處理時(shí)間；

將所述邊緣節(jié)點(diǎn)信息寫入所述日志統(tǒng)計(jì)表中所述第一列屬性的對應(yīng)列，以及將所述節(jié)點(diǎn)處理時(shí)間寫入所述日志統(tǒng)計(jì)表中所述第二列屬性的對應(yīng)列。

本申請實(shí)施例第二方面提供一種日志處理方法，所述方法應(yīng)用于中心服務(wù)端；所述方法包括：