[發(fā)明專利]異常日志的檢測方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110588358.0
• 申請日: 2021-05-28
• 公開（公告）號: CN113032226A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 易存道
• 申請（專利權(quán)）人: 北京寶蘭德軟件股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;G06F16/35;G06F16/36
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王毅

本發(fā)明提供的一種異常日志的檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，通過提取目標(biāo)日志的目標(biāo)日志模板；通過異常日志詞庫模型，計(jì)算所述目標(biāo)日志模板的異常分?jǐn)?shù)值；若所述異常分?jǐn)?shù)值大于預(yù)設(shè)閾值，確定所述目標(biāo)日志為異常日志；實(shí)現(xiàn)了通過異常日志詞庫模型計(jì)算日志模板的異常分?jǐn)?shù)值，最終確定日志是否異常，檢測方法簡單高效，通過每一詞語的分?jǐn)?shù)值確定日志模板的異常分?jǐn)?shù)值，具有可解釋性較好的特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種異常日志的檢測方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

現(xiàn)有的應(yīng)用生產(chǎn)系統(tǒng)中，日志分析作為運(yùn)維人員生產(chǎn)系統(tǒng)故障問題排查，定位原因的最重要途徑之一，生產(chǎn)系統(tǒng)發(fā)生嚴(yán)重故障，在日志中往往會打印出關(guān)鍵的異常信息幫助運(yùn)維人員定位。

在實(shí)際生產(chǎn)中日志雖然是作為重要的問題診斷方法之一，但是存在著日志數(shù)據(jù)量大，日志種類多，重復(fù)內(nèi)容多等特點(diǎn)，傳統(tǒng)人工運(yùn)維方式應(yīng)用小的生產(chǎn)集群尚可，對于超大型的集群，人力往往需要日志分析工具輔助進(jìn)行分析。目前常用的異常日志分析方式有DeepLog和Logrobust，其中，DeepLog可以對有著規(guī)律的運(yùn)行模式的日志進(jìn)行檢測，但檢測過程為黑箱；Logrobust檢測過程中，需要對所有原始日志進(jìn)行打標(biāo)和訓(xùn)練，工作量較大。

由此可見，目前的異常日志檢測方法存在著對日志格式要求高、檢測方法復(fù)雜、效率較低，且由于檢測過程為黑箱，導(dǎo)致檢測結(jié)果解釋性差的問題。

發(fā)明內(nèi)容

本發(fā)明提供一種異常日志的檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，用以解決現(xiàn)有技術(shù)中異常日志檢測方法存在著對日志格式要求高、檢測方法復(fù)雜、效率較低，且由于檢測過程為黑箱，導(dǎo)致檢測結(jié)果解釋性差的問題，實(shí)現(xiàn)了通過異常日志詞庫模型計(jì)算日志模板的異常分?jǐn)?shù)值，最終確定日志是否異常，檢測方法簡單高效，通過每一詞語的分?jǐn)?shù)值確定日志模板的異常分?jǐn)?shù)值，具有可解釋性較好的特點(diǎn)。

本發(fā)明提供的一種異常日志的檢測方法，包括：

提取目標(biāo)日志的目標(biāo)日志模板；

通過異常日志詞庫模型，計(jì)算所述目標(biāo)日志模板的異常分?jǐn)?shù)值；其中，所述異常日志詞庫模型是基于歷史日志與所述歷史日志對應(yīng)的歷史日志模板中任一詞語對應(yīng)的分?jǐn)?shù)值訓(xùn)練得到的；

若所述異常分?jǐn)?shù)值大于預(yù)設(shè)閾值，確定所述目標(biāo)日志為異常日志。

進(jìn)一步的，根據(jù)本發(fā)明提供的一種異常日志的檢測方法，所述通過異常日志詞庫模型，計(jì)算所述目標(biāo)日志模板的異常分?jǐn)?shù)值，包括：

將所述目標(biāo)日志模板導(dǎo)入異常日志詞庫模型，確定所述目標(biāo)日志模板中任一詞語的分?jǐn)?shù)值；

根據(jù)所述任一詞語的分?jǐn)?shù)值，基于算數(shù)平均方法，計(jì)算所屬目標(biāo)日志模板的異常分?jǐn)?shù)值。

進(jìn)一步的，根據(jù)本發(fā)明提供的一種異常日志的檢測方法，所述提取目標(biāo)日志的目標(biāo)日志模板，包括：

提取出目標(biāo)日志中的變量；

將所述變量替換為預(yù)設(shè)符號，通過Drain3算法，得到所述目標(biāo)日志的目標(biāo)日志模板。

進(jìn)一步的，根據(jù)本發(fā)明提供的一種異常日志的檢測方法，所述通過異常日志詞庫模型，確定所述目標(biāo)日志模板的異常分?jǐn)?shù)值之前，還包括：

確定任一歷史日志為異常或正常；

提取任一歷史日志的歷史日志模板，并為任一歷史日志模板添加標(biāo)記；其中，歷史日志為異常時(shí)添加第一標(biāo)記，歷史日志為正常時(shí)添加第二標(biāo)記；

將具有相同標(biāo)記的歷史日志模板進(jìn)行合并，生成兩組歷史日志樣本；

通過TF-IDF算法，確定兩組歷史日志樣本中任一詞語的分?jǐn)?shù)值，建立異常日志詞庫模型。

進(jìn)一步的，根據(jù)本發(fā)明提供的一種異常日志的檢測方法，所述提取任一歷史日志的歷史日志模板之前，還包括：

對所述歷史日志進(jìn)行去重處理。