[發(fā)明專利]一種日志多組合告警歸類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811226511.X
• 申請日: 2018-10-22
• 公開（公告）號: CN109450671B
• 公開（公告）日: 2020-12-08
• 發(fā)明（設計）人: 彭海龍;邢亞君;孟銘;吳曉東
• 申請（專利權）人: 北京安信天行科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/06;G06F16/18
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 張海青

本發(fā)明公開了一種日志多組合告警歸類方法及系統(tǒng)。所述方法首先獲取多個目標原始日志；并采用預設的正則表達式過濾多個目標原始日志，獲得多個過濾后日志；根據(jù)正則表達式為多個過濾后日志添加正則表達式的規(guī)則編號，生成多個編號日志；然后獲取目標告警規(guī)則中系統(tǒng)動作的標號組合；判斷多個編號日志的規(guī)則編號是否能夠完整匹配所述標號組合，若是，將多個編號日志歸類到所述標號組合對應的目標告警事件分類中并產生告警。本發(fā)明提供的方法通過判斷目標日志的規(guī)則編號是否能夠完整匹配系統(tǒng)動作的標號組合，而不僅僅匹配一個動作，從而避免了現(xiàn)有的日志歸類過程中，歸類結果準確性不高，且存在誤判、漏判的問題，提高了日志歸類、告警的準確性。

技術領域

本發(fā)明涉及歸類分析技術領域，特別是涉及一種日志多組合告警歸類方法及系統(tǒng)。

背景技術

隨著網(wǎng)絡技術和網(wǎng)絡規(guī)模的不斷發(fā)展，網(wǎng)絡系統(tǒng)中的各種網(wǎng)絡設備、操作系統(tǒng)、安全設備等都會產生大量的日志數(shù)據(jù)，為了從海量日志中提取關鍵數(shù)據(jù)、提高日志分析效率，提高預警的功能，減少告警漏報、誤報的情況，需要對原始日志進行多組合告警歸類，從而不用產生無用的告警。只有與設置的多組合告警策略相關的日志，才更有分析和存儲價值。因此，將原始日志歸類到多組合的告警事件中，保留與告警事件相關的原始日志，舍棄其他無用日志，才能讓日志分析人員更加高效的處理這些日志，同時節(jié)省日志的存儲空間，從而可以存儲更長時間的日志。

目前，對于日志的歸類方法主要采用聚類算法，而聚類算法主要采用統(tǒng)計的方式進行處理，得出的歸類結果存在一定程度上的誤差，準確性并不是很高，容易存在誤判、漏判的情況。

發(fā)明內容

本發(fā)明的目的是提供一種日志多組合告警歸類方法及系統(tǒng)，以解決現(xiàn)有日志歸類方法歸類結果準確性低，且容易存在誤判、漏判的問題。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種日志多組合告警歸類方法，所述方法包括：

獲取多個目標原始日志；多個所述目標原始日志來源于防火墻、網(wǎng)絡設備、主機系統(tǒng)、數(shù)據(jù)庫或中間件；

采用預設的正則表達式過濾多個所述目標原始日志，獲得多個過濾后日志；

根據(jù)所述正則表達式為多個所述過濾后日志添加正則表達式的規(guī)則編號，生成多個編號日志并存儲；

獲取目標告警規(guī)則中系統(tǒng)動作的標號組合；

判斷多個所述編號日志的規(guī)則編號是否能夠完整匹配所述標號組合，獲得第一判斷結果；

若所述第一判斷結果為多個所述編號日志的規(guī)則編號能夠完整匹配所述標號組合，將多個所述編號日志歸類到所述標號組合對應的目標告警事件分類中并產生告警。

可選的，所述判斷多個所述編號日志的規(guī)則編號是否能夠完整匹配所述標號組合，獲得第一判斷結果，具體包括：

依次判斷多個所述編號日志的規(guī)則編號是否存在于所述標號組合中，獲得第二判斷結果；

若所述第二判斷結果為所述編號日志的規(guī)則編號存在于所述標號組合中，確定所述編號日志的規(guī)則編號位于所述標號組合中的位置；

若所述編號日志的規(guī)則編號位于所述標號組合的隊首位置，將所述編號日志記錄到空隊列，生成已匹配隊列；

若所述編號日志的規(guī)則編號位于所述標號組合的隊中位置，判斷所述標號組合中所述編號日志的規(guī)則編號的前一規(guī)則編號是否已在所述已匹配隊列中，獲得第三判斷結果；

若所述第三判斷結果為所述編號日志的規(guī)則編號的前一規(guī)則編號已在所述已匹配隊列中，判斷所述編號日志與所述前一規(guī)則編號對應的前一編號日志的時間間隔是否小于預設的閾值，獲得第四判斷結果；