[發(fā)明專利]一種日志數(shù)據(jù)異常指向識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710256875.1
• 申請(qǐng)日: 2017-04-19
• 公開（公告）號(hào): CN107423190B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 夏飛;劉俊愷;周靜;王毅;張立強(qiáng);余偉;吳立斌;張明明;李鵬;季曉凱;蔣錚;王艷青;彭軾;魏桂臣;丁一新;張利;李萌;黃高攀;湯雷
• 申請(qǐng)（專利權(quán)）人: 國(guó)家電網(wǎng)公司;國(guó)網(wǎng)江蘇省電力公司信息通信分公司;國(guó)網(wǎng)電子商務(wù)有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明公開了一種日志數(shù)據(jù)異常指向識(shí)別方法，該方法包括:設(shè)置日志數(shù)據(jù)異常的采樣與提取規(guī)則，獲得所述日志中的異常數(shù)據(jù)；對(duì)所述異常數(shù)據(jù)進(jìn)行模式化處理，得到所述異常數(shù)據(jù)與其對(duì)應(yīng)的異常標(biāo)簽的匹配關(guān)系；設(shè)置異常模式的損失函數(shù)，計(jì)算獲得使所述損失函數(shù)的值最小的參數(shù)值；根據(jù)所述參數(shù)值生成數(shù)據(jù)異常判別函數(shù)，判斷獲得所述異常數(shù)據(jù)的指向。通過(guò)本發(fā)明實(shí)現(xiàn)了對(duì)海量日志數(shù)據(jù)分析并根據(jù)數(shù)據(jù)異常快速定位異常所在根源的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及基于隱因子模式學(xué)習(xí)的異常分類與協(xié)同警戒機(jī)制的一種日志數(shù)據(jù)異常指向識(shí)別方法及裝置。

背景技術(shù)

信息系統(tǒng)在日常運(yùn)行時(shí)會(huì)產(chǎn)生大量數(shù)據(jù)，而數(shù)據(jù)異常現(xiàn)象是廣泛存在且不可避免的，通常一套成熟的信息系統(tǒng)可以承受甚至自動(dòng)糾正單位時(shí)間段內(nèi)一定比例或范圍內(nèi)出現(xiàn)的數(shù)據(jù)異常現(xiàn)象，即該信息系統(tǒng)具備容錯(cuò)能力。然而，在單位時(shí)間內(nèi)，出現(xiàn)的數(shù)據(jù)異常比例或者范圍超出了信息系統(tǒng)的容錯(cuò)承受能力，就會(huì)使得系統(tǒng)出現(xiàn)異常，影響其安全運(yùn)行。

為了保證信息系統(tǒng)的安全運(yùn)行，通常會(huì)對(duì)信息系統(tǒng)機(jī)器網(wǎng)絡(luò)設(shè)備與相關(guān)軟件程序等在日常運(yùn)行時(shí)產(chǎn)生的日志進(jìn)行異常檢測(cè)，來(lái)排除危害信息系統(tǒng)正常運(yùn)行的因素。其中，每一行日志都記載著日期、時(shí)間、用戶及變更等相關(guān)操作的描述。通過(guò)檢查日志，可以描述系統(tǒng)發(fā)生錯(cuò)誤的具體情況，排查是物理?yè)p壞還是人為入侵，如果是物理?yè)p害需得到物理?yè)p壞的硬件位置，對(duì)應(yīng)的如果是人為入侵，則需查明人為入侵的攻擊途徑，這樣才能保證信息系統(tǒng)的安全運(yùn)行。

傳統(tǒng)的日志檢查的方法包括：一是基于規(guī)則查找，通過(guò)已知攻擊的特征進(jìn)行分析，并從中提取數(shù)據(jù)異常的固定規(guī)則，將這類規(guī)則收集起來(lái)形成一個(gè)規(guī)則集合，信息系統(tǒng)在運(yùn)行過(guò)程可以通過(guò)檢索這些規(guī)則集合中的信息從而判定發(fā)生的數(shù)據(jù)不一致現(xiàn)象是否對(duì)系統(tǒng)正常運(yùn)行構(gòu)成威脅；二是統(tǒng)計(jì)學(xué)方法，此方法通過(guò)對(duì)信息收發(fā)量、系統(tǒng)資源占用率等相關(guān)數(shù)據(jù)設(shè)置一個(gè)正常標(biāo)準(zhǔn)閾值，當(dāng)系統(tǒng)實(shí)際運(yùn)行超過(guò)這個(gè)標(biāo)準(zhǔn)閾值就認(rèn)為是運(yùn)行異常。上述的傳統(tǒng)的日志檢查方法都是用在判斷信息系統(tǒng)是否存在運(yùn)行異常的現(xiàn)象，如果需要對(duì)日志信息進(jìn)行監(jiān)控就要啟動(dòng)日志審計(jì)系統(tǒng)，它按預(yù)先設(shè)定的時(shí)間間隔采集日志信息，并對(duì)采集到的日志數(shù)據(jù)進(jìn)行數(shù)據(jù)格式標(biāo)準(zhǔn)化處理，使得日志數(shù)據(jù)便于分析，及時(shí)發(fā)現(xiàn)對(duì)系統(tǒng)具有安全威脅的數(shù)據(jù)或者異常行為時(shí)間產(chǎn)生的數(shù)據(jù)并發(fā)出相應(yīng)系統(tǒng)異常警告。雖然日志審計(jì)系統(tǒng)可以實(shí)時(shí)的監(jiān)測(cè)信息系統(tǒng)的整體運(yùn)行與各子設(shè)備的運(yùn)行狀況，幫助安全維護(hù)管理人員快速定位故障位置和狀況。但是，隨著大數(shù)據(jù)時(shí)代的來(lái)臨，接入互聯(lián)網(wǎng)用戶的增加以及物聯(lián)網(wǎng)的發(fā)展，信息系統(tǒng)規(guī)模越來(lái)越發(fā)，網(wǎng)絡(luò)環(huán)境日趨復(fù)雜。這樣就使得日志審計(jì)系統(tǒng)需實(shí)時(shí)處理與分析的日志數(shù)據(jù)越來(lái)越多，這對(duì)日志審計(jì)系統(tǒng)的實(shí)時(shí)處理能力提出了新的要求。如何對(duì)海量日志數(shù)據(jù)進(jìn)行高速度并行分析，并可以快速的檢索日志信息及定位問(wèn)題所在位置也是目前日志審計(jì)系統(tǒng)所面臨的主要問(wèn)題。

發(fā)明內(nèi)容

針對(duì)于上述問(wèn)題，本發(fā)明提供一種日志數(shù)據(jù)異常指向識(shí)別方法及裝置，實(shí)現(xiàn)了對(duì)海量日志數(shù)據(jù)分析并根據(jù)數(shù)據(jù)異常快速定位異常所在根源的目的。

為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面，提供了一種日志數(shù)據(jù)異常指向識(shí)別方法，該方法包括：

設(shè)置日志數(shù)據(jù)異常的采樣與提取規(guī)則，獲得所述日志中的異常數(shù)據(jù)；

對(duì)所述異常數(shù)據(jù)進(jìn)行模式化處理，得到所述異常數(shù)據(jù)與其對(duì)應(yīng)的異常標(biāo)簽的匹配關(guān)系，其中，所述異常標(biāo)簽為根據(jù)造成所述數(shù)據(jù)異常現(xiàn)象的根源進(jìn)行構(gòu)造的標(biāo)簽；

根據(jù)所述匹配關(guān)系，設(shè)置異常模式的損失函數(shù)，計(jì)算獲得使得所述損失函數(shù)的值最小的參數(shù)值；

根據(jù)所述參數(shù)值生成數(shù)據(jù)異常判別函數(shù)，判斷獲得所述異常數(shù)據(jù)的指向。

優(yōu)選的，所述方法還包括：

根據(jù)所述異常數(shù)據(jù)的指向，判斷是否進(jìn)行調(diào)節(jié)優(yōu)化，如果是，則重新設(shè)置日志數(shù)據(jù)異常的采樣與提取規(guī)則，如果否，則進(jìn)行指向異常報(bào)警。

優(yōu)選的，所述設(shè)置日志數(shù)據(jù)異常的采樣與提取規(guī)則，獲得所述日志中的異常數(shù)據(jù)，包括：