[發(fā)明專(zhuān)利]異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取和分析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710671932.2
• 申請(qǐng)日: 2017-08-08
• 公開(kāi)（公告）號(hào): CN107493275A
• 公開(kāi)（公告）日: 2017-12-19
• 發(fā)明（設(shè)計(jì)）人: 賈四虎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京盛華安信息技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/06
• 分類(lèi)號(hào): H04L29/06
• 代理公司: 北京思創(chuàng)大成知識(shí)產(chǎn)權(quán)代理有限公司11614
• 代理人: 張清芳

技術(shù)領(lǐng)域

本發(fā)明屬于信息安全領(lǐng)域，更具體地，涉及一種異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取和分析方法及系統(tǒng)。

背景技術(shù)

企業(yè)網(wǎng)絡(luò)、服務(wù)器、安全設(shè)備、業(yè)務(wù)系統(tǒng)每天都會(huì)產(chǎn)生大量的安全日志，但這些日志數(shù)據(jù)往往數(shù)據(jù)量較大、信息零碎，給安全分析帶來(lái)極大的困難。企業(yè)和安全團(tuán)隊(duì)更渴望可操作的數(shù)據(jù)。

安全信息和事件管理(SIEM)及日志管理系統(tǒng)已經(jīng)存在很長(zhǎng)時(shí)間了。這種系統(tǒng)常用于中型和大型企業(yè)的IT部門(mén)進(jìn)行數(shù)據(jù)分析。然而，在過(guò)去的十年中，這種技術(shù)的主要應(yīng)用已經(jīng)發(fā)生了變化。安全信息和事件管理(SIEM)及日志管理最初用于安全目的，即為了檢測(cè)進(jìn)入系統(tǒng)的木馬、系統(tǒng)探測(cè)、未經(jīng)批準(zhǔn)的變更等。IT專(zhuān)業(yè)人員認(rèn)為SIEM和日志管理可用于改進(jìn)運(yùn)營(yíng)；他們利用日志文件和數(shù)據(jù)來(lái)定位問(wèn)題，并幫助運(yùn)營(yíng)團(tuán)隊(duì)更有效地管理環(huán)境。然后，SIEM使用的重點(diǎn)被從運(yùn)營(yíng)轉(zhuǎn)向了合規(guī)，使用SIEM和日志管理來(lái)幫助保障企業(yè)與法律法規(guī)保持統(tǒng)一。

安全威脅的變化引起安全產(chǎn)品的變化。如今，在進(jìn)行深入分析之前，通過(guò)冗長(zhǎng)的集中、匯總、標(biāo)準(zhǔn)化、索引等手段來(lái)處理事件已經(jīng)不合時(shí)宜。企業(yè)需要實(shí)時(shí)的或接近實(shí)時(shí)的分析和應(yīng)對(duì)攻擊。為了在企業(yè)內(nèi)部有效的使用日志分析系統(tǒng)，運(yùn)維人員往往要花費(fèi)大量時(shí)間和精力用來(lái)梳理日志類(lèi)型和格式，因此有必要提供了一種異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取與分析方法，提高日志梳理的效率。

公開(kāi)于本發(fā)明背景技術(shù)部分的信息僅僅旨在加深對(duì)本發(fā)明的一般背景技術(shù)的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域技術(shù)人員所公知的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的目的是解決目前傳統(tǒng)日志提取和分析中異構(gòu)網(wǎng)絡(luò)安全日志關(guān)鍵字段提取步驟繁瑣、實(shí)施工作量大；日志字段提取所依賴(lài)的正則表達(dá)式性能?chē)?yán)重依賴(lài)實(shí)施人員經(jīng)驗(yàn)且無(wú)可靠的性能評(píng)估手段；日志知識(shí)庫(kù)積累缺乏便利手段，管理復(fù)雜的問(wèn)題。

根據(jù)本發(fā)明的一方面，提出了一種異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取和分析方法，所述方法可以包括：將樣本日志按照日志相似度分類(lèi)，構(gòu)造每類(lèi)日志的日志模式對(duì)象；基于所述日志模式對(duì)象，對(duì)原始日志進(jìn)行分類(lèi)，獲得日志分類(lèi)結(jié)果；基于所述日志分類(lèi)結(jié)果，進(jìn)行關(guān)鍵業(yè)務(wù)建模和分析。

優(yōu)選地，通過(guò)所述日志模式對(duì)象的結(jié)構(gòu)構(gòu)建匹配所述日志模式對(duì)象的正則表達(dá)式，并在所述正則表達(dá)式中添加日志動(dòng)態(tài)內(nèi)容的捕獲組。

優(yōu)選地，所述日志模式對(duì)象的結(jié)構(gòu)包括：關(guān)鍵字集合、關(guān)鍵字順序號(hào)、動(dòng)態(tài)內(nèi)容位置集合和動(dòng)態(tài)內(nèi)容數(shù)據(jù)類(lèi)型。

優(yōu)選地，所述正則表達(dá)式通過(guò)程序自動(dòng)生成且優(yōu)化。

優(yōu)選地，還包括通過(guò)人工方式將所述動(dòng)態(tài)內(nèi)容與特定語(yǔ)義關(guān)聯(lián)，形成范化日志。

優(yōu)選地，通過(guò)持續(xù)學(xué)習(xí)，識(shí)別新出現(xiàn)的日志類(lèi)型并完善日志模式庫(kù)。

優(yōu)選地，采用多線程的方式進(jìn)行日志模式識(shí)別和分類(lèi)。

優(yōu)選地，所述樣本日志是隨機(jī)選取的。

根據(jù)本發(fā)明的另一方面，提出了一種異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取和分析系統(tǒng)，所述系統(tǒng)包括：

存儲(chǔ)器，其上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令；

處理器，所述處理器執(zhí)行所述存儲(chǔ)器上的計(jì)算機(jī)可執(zhí)行指令時(shí)執(zhí)行以下步驟：

將樣本日志按照日志相似度分類(lèi)，構(gòu)造每類(lèi)日志的日志模式對(duì)象；基于所述日志模式對(duì)象，對(duì)原始日志進(jìn)行分類(lèi)，獲得日志分類(lèi)結(jié)果；基于所述日志分類(lèi)結(jié)果，進(jìn)行關(guān)鍵業(yè)務(wù)建模和分析。

優(yōu)選地，通過(guò)所述日志模式對(duì)象的結(jié)構(gòu)構(gòu)建匹配所述日志模式對(duì)象的正則表達(dá)式，并在所述正則表達(dá)式中添加日志動(dòng)態(tài)內(nèi)容的捕獲組。

本發(fā)明的有益效果在于：將樣本日志按照相似度分類(lèi)，構(gòu)造每類(lèi)日志的日志模式對(duì)象，并通過(guò)程序自動(dòng)生成且優(yōu)化正則表達(dá)式，對(duì)原始日志進(jìn)行分類(lèi)，進(jìn)行關(guān)鍵業(yè)務(wù)建模和分析，有效的解決了傳統(tǒng)日志提取和分析中異構(gòu)網(wǎng)絡(luò)安全日志關(guān)鍵字段提取步驟繁瑣、實(shí)施工作量大；日志字段提取所依賴(lài)的正則表達(dá)式性能?chē)?yán)重依賴(lài)實(shí)施人員經(jīng)驗(yàn)且無(wú)可靠的性能評(píng)估手段；日志知識(shí)庫(kù)積累缺乏便利手段，管理復(fù)雜的問(wèn)題。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后具體實(shí)施方式部分予以詳細(xì)說(shuō)明。

附圖說(shuō)明

通過(guò)結(jié)合附圖對(duì)本發(fā)明示例性實(shí)施方式進(jìn)行更詳細(xì)的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯，其中，在本發(fā)明示例性實(shí)施方式中，相同的參考標(biāo)號(hào)通常代表相同部件。

圖1示出了根據(jù)本發(fā)明的異構(gòu)網(wǎng)絡(luò)安全日志信息的自適應(yīng)提取和分析方法的步驟的流程圖。

圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的構(gòu)造日志模式對(duì)象的方法的步驟的流程圖。

具體實(shí)施方式