[發(fā)明專利]一種基于日志事件圖和關(guān)聯(lián)關(guān)系挖掘的異常檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110592113.5
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113326244A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 陳雙武;李江明;楊堅(jiān);楊鋒;徐正歡;吳楓
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/2458;G06F11/30;G06N3/04
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 安麗

本發(fā)明涉及一種基于日志事件圖和關(guān)聯(lián)關(guān)系挖掘的異常檢測(cè)方法，收集系統(tǒng)的原始日志，得到日志事件；按照設(shè)定時(shí)間跨度或者任務(wù)號(hào)將日志事件分割成不同的組，每個(gè)組內(nèi)的日志事件按照生成的時(shí)間組成日志事件序列；根據(jù)關(guān)聯(lián)關(guān)系挖掘，挖掘出與每一種異常具有相關(guān)關(guān)系的系統(tǒng)日志事件，將日志事件序列中與該異常無關(guān)的日志事件剔除；提取每個(gè)日志事件的語義向量作為該日志事件的特征向量；根據(jù)日志事件序列生成雙向的全連接日志事件圖，使用門控圖神經(jīng)網(wǎng)絡(luò)更新每個(gè)節(jié)點(diǎn)的特征向量，使用注意力網(wǎng)絡(luò)對(duì)所有節(jié)點(diǎn)更新后的特征向量進(jìn)行加權(quán)求和，計(jì)算出日志事件圖的全局特征向量，最終通過全連接網(wǎng)絡(luò)進(jìn)行分類檢測(cè)，得出系統(tǒng)正常或異常的種類。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，一種基于日志事件圖和關(guān)聯(lián)關(guān)系挖掘的異常檢測(cè)方法。

背景技術(shù)

現(xiàn)代的計(jì)算機(jī)系統(tǒng)經(jīng)常為復(fù)雜的大規(guī)模分布式的軟件密集型系統(tǒng)，例如大型云服務(wù) 系統(tǒng)或集中式數(shù)據(jù)處理與存儲(chǔ)系統(tǒng)等。這些系統(tǒng)往往能同時(shí)為數(shù)量多達(dá)數(shù)百萬的用戶提 供各種在線服務(wù)，但一旦發(fā)生異常將可能導(dǎo)致系統(tǒng)服務(wù)的崩潰，從而造成巨大的經(jīng)濟(jì)損失。因此發(fā)生異常時(shí)，為了讓系統(tǒng)維護(hù)人員能夠迅速地發(fā)現(xiàn)并解決異常，盡快使系統(tǒng)恢 復(fù)正常，快速且準(zhǔn)確的異常檢測(cè)機(jī)制是必不可少的。日志作為現(xiàn)代系統(tǒng)的重要組成部分， 是一種半結(jié)構(gòu)化的文本信息，記錄著系統(tǒng)狀態(tài)及運(yùn)行時(shí)的各種事件，是進(jìn)行異常檢測(cè)最 重要的數(shù)據(jù)來源之一。

最開始，系統(tǒng)維護(hù)人員采用人工檢查的方式檢測(cè)異常。然而隨著現(xiàn)代系統(tǒng)的規(guī)模和 復(fù)雜性不斷增加，系統(tǒng)日志的數(shù)量迅速增加，甚至一天就能產(chǎn)生數(shù)千甚至數(shù)萬條日志，這使得人工檢查的方法變得不再可行。因此，現(xiàn)代的日志異常檢測(cè)系統(tǒng)往往采用自動(dòng)化 的檢測(cè)方法。傳統(tǒng)的方法主要是基于規(guī)則的，即由維護(hù)人員人工制定或是由機(jī)器自動(dòng)學(xué) 習(xí)出異常規(guī)則，然后使用規(guī)則來對(duì)日志匹配得出異常。結(jié)合正則表達(dá)式等先進(jìn)的字符串 匹配方法，可以構(gòu)造出相當(dāng)復(fù)雜的規(guī)則從而匹配得到各種的異常模式。但是考慮到：1)人 工成本。為了給日益復(fù)雜的日志集制定規(guī)則，需要巨大的人工成本，還需要領(lǐng)域?qū)＜业?參與；2)匹配精度。由于規(guī)則的制定往往與制訂人員本人的經(jīng)驗(yàn)具有很大的相關(guān)性，由 不同人制訂的規(guī)則往往具有很大的不同，且考慮噪聲的影響，規(guī)則也不一定能完美地適 應(yīng)異常情景；3)系統(tǒng)的異構(gòu)性?，F(xiàn)代大型系統(tǒng)常常由大量開發(fā)者分布開發(fā)，因此會(huì)包 含大量的小組件，例如每名開發(fā)者會(huì)負(fù)責(zé)其中一個(gè)組件。不同組件間的日志結(jié)構(gòu)和風(fēng)格 可能會(huì)有巨大差異，規(guī)則難以對(duì)所有這些日志形成包容和覆蓋；4)日志的不穩(wěn)定性。隨 著系統(tǒng)的更新或修補(bǔ)，系統(tǒng)的日志集可能會(huì)發(fā)生變化，比如新日志的加入、舊日志的棄 用或舊日志的修改更新等。同時(shí)，日志數(shù)據(jù)在存取、運(yùn)輸和處理的過程中經(jīng)常產(chǎn)生很多 噪聲，使得日志信息發(fā)生變化。因此匹配規(guī)則必須要適應(yīng)和兼容日志的各種變化，以避 免發(fā)生誤報(bào)和漏報(bào)，這給維護(hù)人員增加了更大的負(fù)擔(dān)。由于系統(tǒng)更新的速度常常是很快 的，不及時(shí)的更新會(huì)嚴(yán)重影響異常檢測(cè)的性能；5)單個(gè)日志的異常不代表整個(gè)系統(tǒng)的 異常。由于現(xiàn)代計(jì)算機(jī)系統(tǒng)常常內(nèi)置有某些自檢機(jī)制，對(duì)于一些臨時(shí)的、顯然的錯(cuò)誤經(jīng) ?？梢匝杆賹⑵湫迯?fù)，因此單個(gè)日志發(fā)生了某些異常并不代表整個(gè)系統(tǒng)發(fā)生了異常。同 時(shí)，根據(jù)研究真實(shí)的系統(tǒng)日志發(fā)現(xiàn)，一般的交換機(jī)異常通常會(huì)伴隨著某些特定的日志序 列。有時(shí)也許所有的單個(gè)日志均處于正常狀態(tài)，但某個(gè)特定序列的出現(xiàn)卻標(biāo)志著異常的 出現(xiàn)。因此，應(yīng)該針對(duì)日志序列而非單個(gè)日志進(jìn)行異常檢測(cè)。然而基于規(guī)則匹配的異常 檢測(cè)方法主要是基于單個(gè)日志進(jìn)行檢測(cè)的，其主要通過對(duì)日志中出現(xiàn)的特定模式進(jìn)行匹 配從而檢測(cè)出特定異常，而無法捕捉多個(gè)日志之間的各種關(guān)聯(lián)關(guān)系，因此無法適應(yīng)針對(duì) 日志序列進(jìn)行異常檢測(cè)的場(chǎng)景。因此，這種基于規(guī)則的異常檢測(cè)方法往往無法適用于現(xiàn) 代大規(guī)模系統(tǒng)。