[發(fā)明專(zhuān)利]一種自動(dòng)化日志異常檢測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910320115.1
• 申請(qǐng)日: 2019-04-19
• 公開(kāi)（公告）號(hào): CN110210512A
• 公開(kāi)（公告）日: 2019-09-06
• 發(fā)明（設(shè)計(jì)）人: 丁健
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京億陽(yáng)信通科技有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06N20/00
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

本發(fā)明公開(kāi)一種自動(dòng)化日志異常檢測(cè)方法及系統(tǒng)，屬于數(shù)據(jù)處理領(lǐng)域。所述包括：對(duì)原始日志數(shù)據(jù)進(jìn)行預(yù)處理得到第一日志數(shù)據(jù)集；對(duì)第一日志數(shù)據(jù)集分組得到多個(gè)第二日志數(shù)據(jù)集，對(duì)各第二數(shù)據(jù)集進(jìn)行特征提取得到對(duì)應(yīng)的各特征集合；根據(jù)無(wú)監(jiān)督異常點(diǎn)發(fā)現(xiàn)算法及異常操作指令在各第二日志數(shù)據(jù)集中發(fā)現(xiàn)對(duì)應(yīng)的日志異常點(diǎn)；對(duì)各特征集合和對(duì)應(yīng)的日志異常點(diǎn)進(jìn)行訓(xùn)練，得到對(duì)應(yīng)的各有監(jiān)督機(jī)器學(xué)習(xí)分類(lèi)模型；選取與待檢測(cè)日志數(shù)據(jù)對(duì)應(yīng)的有監(jiān)督機(jī)器學(xué)習(xí)分類(lèi)模型對(duì)待檢測(cè)日志數(shù)據(jù)進(jìn)行檢測(cè)，得到日志異常檢測(cè)結(jié)果。本發(fā)明中，克服了現(xiàn)有異常檢測(cè)方法中判別準(zhǔn)確性和泛化能力較低、對(duì)訓(xùn)練樣本中未出現(xiàn)的故障無(wú)法預(yù)警以及需要耗費(fèi)極大的時(shí)間成本和人工成本的缺陷。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種自動(dòng)化日志異常檢測(cè)方法及系統(tǒng)。

背景技術(shù)

隨著技術(shù)的快速發(fā)展，移動(dòng)通信系統(tǒng)變得越來(lái)越復(fù)雜，系統(tǒng)的運(yùn)營(yíng)與維護(hù)由于需要大量的時(shí)間成本、人力成本，已逐漸成為各大移動(dòng)通信網(wǎng)絡(luò)運(yùn)營(yíng)商的主要支出。因此，實(shí)現(xiàn)電信網(wǎng)絡(luò)設(shè)備的自動(dòng)化異常檢測(cè)與故障預(yù)警，是運(yùn)營(yíng)商實(shí)現(xiàn)利益最大化的重要途徑，并已成為近些年移動(dòng)通信領(lǐng)域中研究的熱點(diǎn)。

目前的電信網(wǎng)絡(luò)設(shè)備中，通常存在較為完善的日志記錄模塊，用于記錄診斷日志、操作日志、系統(tǒng)日志等，由于電信網(wǎng)絡(luò)復(fù)雜度的不斷提高，目前這些日志數(shù)據(jù)呈現(xiàn)出以下特點(diǎn)：(1)數(shù)據(jù)量較大，某運(yùn)營(yíng)商的中等省份網(wǎng)絡(luò)數(shù)據(jù)產(chǎn)生速率能達(dá)到每天9億條，占據(jù)200GByte空間；(2)結(jié)構(gòu)復(fù)雜，日志數(shù)據(jù)設(shè)備廠家來(lái)源眾多，沒(méi)有標(biāo)準(zhǔn)日志格式模板；(3)正負(fù)樣本不均，網(wǎng)絡(luò)告警時(shí)期的數(shù)據(jù)樣本占總樣本比例低；(4)故障類(lèi)型多樣，單種故障數(shù)據(jù)樣本少，且存在樣本中未出現(xiàn)的故障。

由于日志數(shù)據(jù)是電信網(wǎng)絡(luò)安全狀態(tài)重要的信息來(lái)源，因此其對(duì)網(wǎng)絡(luò)故障預(yù)警具有重要意義。當(dāng)前利用日志數(shù)據(jù)進(jìn)行故障預(yù)警的方法有很多，主要包括：統(tǒng)計(jì)學(xué)方法、基于機(jī)器學(xué)習(xí)的方法以及基于專(zhuān)家知識(shí)的異常檢測(cè)方法。其中，統(tǒng)計(jì)學(xué)方法適用于正常行為統(tǒng)計(jì)模型，通過(guò)對(duì)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，給出異常分?jǐn)?shù)，如果異常分?jǐn)?shù)高于一個(gè)閾值，則認(rèn)為是異常點(diǎn)；該方法在設(shè)置恰當(dāng)?shù)拈撝狄约罢{(diào)整好參數(shù)的前提下，可以提供較準(zhǔn)確的預(yù)測(cè)。基于機(jī)器學(xué)習(xí)的方法，主要包括分類(lèi)算法和聚類(lèi)算法；其中，分類(lèi)算法是一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，其必要前提是訓(xùn)練集包含的分類(lèi)數(shù)據(jù)所屬類(lèi)別是已知的；而聚類(lèi)算法是一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法，通常是基于距離對(duì)樣本數(shù)據(jù)進(jìn)行聚類(lèi)，識(shí)別出異常點(diǎn)，但此種方法存在對(duì)訓(xùn)練樣本中未出現(xiàn)的故障無(wú)法預(yù)警的缺陷。基于專(zhuān)家知識(shí)的異常檢測(cè)，又稱(chēng)為專(zhuān)家系統(tǒng)，專(zhuān)家系統(tǒng)是以規(guī)則為基礎(chǔ)，利用預(yù)定義的規(guī)則對(duì)測(cè)試數(shù)據(jù)進(jìn)行匹配，并可以不斷獲取知識(shí)，進(jìn)入一個(gè)更高的置信區(qū)域，根據(jù)分?jǐn)?shù)閾值，判定異常行為。同時(shí)，基于機(jī)器學(xué)習(xí)與專(zhuān)家知識(shí)相結(jié)合的方法在計(jì)算機(jī)數(shù)據(jù)管理技術(shù)領(lǐng)域也同樣有所應(yīng)用，其是基于系統(tǒng)的源代碼分析，對(duì)程序的運(yùn)行日志提取與性能相關(guān)特征向量，并結(jié)合機(jī)器學(xué)習(xí)算法和專(zhuān)家知識(shí)，有效檢測(cè)和診斷程序的常見(jiàn)性能異常。

目前，上述方法均有實(shí)際的應(yīng)用，并且存在相關(guān)的專(zhuān)利申請(qǐng)；其中，基于統(tǒng)計(jì)學(xué)原理來(lái)進(jìn)行故障預(yù)警的技術(shù)方案可參見(jiàn)申請(qǐng)?zhí)枮镃N201410191589.8、CN201510765610.5和CN201611213764.4的專(zhuān)利；基于機(jī)器學(xué)習(xí)進(jìn)行故障預(yù)警的技術(shù)方案可參見(jiàn)申請(qǐng)?zhí)枮镃N201610125901.2和CN201611232408.7的專(zhuān)利；基于知識(shí)的異常檢測(cè)技術(shù)方案可參見(jiàn)申請(qǐng)?zhí)枮?01510180528.6的專(zhuān)利；基于機(jī)器學(xué)習(xí)方法與專(zhuān)家知識(shí)相結(jié)合的技術(shù)方案可參見(jiàn)申請(qǐng)?zhí)枮镃N201610312729.1的專(zhuān)利。