[發明專利]一種復雜網絡體系下異構安全日志信息的自適應提取方法及系統

有效

• 申請號: 201510015079.X
• 申請日: 2015-01-12
• 公開（公告）號: CN104573024B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 白濤;趙煒;劉成龍;谷磊
• 申請（專利權）人: 國家電網公司;國網河北省電力公司信息通信分公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/06
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 王康,栗若木

技術領域

本發明涉及信息安全領域，具體涉及一種復雜網絡體系下異構安全日志信息的自適應提取方法及系統。

背景技術

電力系統是國民經濟和人民生活的重要基礎設施，其網絡和應用系統的安全是電力系統安全運行及對社會可靠供電的保證，直接關系到我國各行各業的發展、社會的安定和人民的生活水平。電力系統安全防護的主要目標是防止關鍵業務信息系統數據或信息被竊取或篡改，防止網絡被惡意滲透或監聽，確保不發生因信息安全引發的電網事故和大面積停電事故，實現信息安全風險可控、能控、在控。國家非常重視電力系統的信息安全，建立了電力系統信息安全縱深防御體系，部署了大量不同類型的安全設備，各種設備的日志記錄了設備運行狀態，各類用戶執行的操作等等詳細信息。在目前的網絡環境中，各種設備的日志已經成為海量數據，SYSLOG作為主要的日志類型，被各種操作系統，網絡設備和安全設備廣泛支持，成為日志的重要標準，對于其他類型的日志，也可以轉換為SYSLOG日志格式，便于統一分析。

由于不同類型安全設備報送的SYSLOG日志格式千差萬別，因此，需要對日志進行格式歸一化，才能夠對日志進行規則處理分析和有效的統計分析。目前業界常用的安全日志信息提取和分析方式是基于解析模板技術，每一個新的日志類型都需要人工編寫解析模板，這種方式下項目實施成本高，且人工編寫出錯概率高，對復雜網絡環境SYSLOG信息提取的適應性差。

發明內容

為了解決上述問題，本發明提出了一種復雜網絡體系下異構安全日志信息的自適應提取與分析方法及系統，能夠降低成本，提高對復雜網絡環境 SYSLOG信息提取的適應性。

為了達到上述目的，本發明提出了一種復雜網絡體系下異構安全日志信息的自適應提取方法，該方法包括以下步驟：

A、持續采集異構安全日志數據，采用分詞工具對。日志數據結構進行分拆，根據預置的常用日志字段正則匹配字典表對。日志數據中指定位置的字段數據進行內容屬性匹配，構建日志信息提取決策樹LITD ，作為。異構安全日志信息的提取規則；LITD樹的信息隨著新的日志結構的加入不斷更新。

B、對構建的。LITD樹的信息在計算機內存中進行緩存，該緩存根據LITD 樹的更新實時更新。

C、對新采集的異構安全日志數據，根據LITD樹按照日志報送地址、日志類型以及日志各位置字段的順序逐層解析，提取異構安全日志信息。

D、將形成的規范格式的異構安全日志數據存儲進入數據庫系統。

優選地，步驟A中具體包括以下步驟：

A1、通過系統日志SYSLOG協議獲得異構安全日志數據，通過對異構安全日志數據的頭部分解析獲取SYSLOG日志的報送設備互聯網協議IP，以報送設備IP作為LITD樹的一級節點。

A2、采用分詞工具對SYSLOG日志中代表原始日志的MSG字段進行分詞，并按順序對分詞結果進行索引。

A3、通過各分詞字段的屬性和對應索引計算日志解析指紋，將日志解析指紋作為LITD樹的二級節點。

A4、將各分詞字段的索引和內容屬性作為LITD樹的三級節點。

A5、返回步驟A1。

優選地，步驟C具體包括以下步驟：

C1、采集SYSLOG日志，解析報送設備IP信息，將報送設備IP信息與 LITD樹的一級節點中的報送設備IP進行比較，定位SYSLOG日志對應的 LITD樹的二級節點，如果所采集的SYSLOG日志的報送設備IP信息與LITD 樹中的所有報送設備IP都不匹配，則進入學習階段A，構建該SYSLOG日志對應的LITD樹；如果在當前的LITD樹的一級節點中找到了與所采集的SYSLOG日志的報送設備IP信息匹配的所述報送設備IP，則進入步驟C2。

C2、采用分詞工具對SYSLOG日志中代表原始日志的MSG字段進行分詞，并按順序對分詞結果進行索引。

C3、計算獲得SYSLOG日志的日志解析指紋，將日志解析指紋與LITD 樹的二級節點中的日志解析指紋進行比較，定位SYSLOG日志對應的LITD 樹的三級節點，如果所采集的SYSLOG日志的日志解析指紋與LITD樹中的所有日志解析指紋都不匹配，則進入學習階段A，構建該SYSLOG日志對應的LITD樹；如果在當前的LITD樹的二級節點中找到了與所采集的SYSLOG 日志的日志解析指紋匹配的日志解析指紋，則進入步驟C4。

C4、通過將SYSLOG日志的分詞數據信息與決策樹三級節點中的分詞數據信息進行比較，獲得對SYSLOG日志的解析結果。

優選地，計算日志解析指紋包括以下步驟：