[發明專利]一種復雜網絡體系下異構安全日志信息的自適應提取方法及系統

有效

• 申請號: 201510015079.X
• 申請日: 2015-01-12
• 公開（公告）號: CN104573024B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 白濤;趙煒;劉成龍;谷磊
• 申請（專利權）人: 國家電網公司;國網河北省電力公司信息通信分公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/06
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 王康,栗若木

1.一種復雜網絡體系下異構安全日志信息的自適應提取方法，其特征在于，所述方法包括以下步驟：

A、持續采集異構安全日志數據，采用分詞工具對所述日志數據結構進行分拆，根據預置的常用日志字段正則匹配字典表對所述日志數據中指定位置的字段數據進行內容屬性匹配，構建日志信息提取決策樹LITD ，作為所述異構安全日志信息的提取規則；所述LITD樹的信息隨著新的日志結構的加入不斷更新；

B、對構建的所述LITD樹的信息在計算機內存中進行緩存，所述緩存根據所述LITD樹的更新實時更新；

C、對新采集的所述異構安全日志數據，根據所述LITD樹按照日志報送地址、日志類型以及日志各位置字段的順序逐層解析，提取所述異構安全日志信息；

D、將形成的規范格式的異構安全日志數據存儲進入數據庫系統；

其中，所述日志信息提取決策樹分為三個層級，第一層級是報送SYSLOG日志的設備IP；第二層級是一種日志類型的解析指紋；第三層級是所述第二層級日志對應的解析內容屬性。

2.如權利要求1所述的方法，其特征在于，所述步驟A中具體包括以下步驟：

A1、通過系統日志SYSLOG協議獲得所述異構安全日志數據，通過對所述異構安全日志數據的頭部分解析獲取所述SYSLOG日志的報送設備互聯網協議IP，以所述報送設備IP作為所述LITD樹的一級節點；

A2、采用分詞工具對所述SYSLOG日志中代表原始日志的MSG字段進行分詞，并按順序對分詞結果進行索引；

A3、通過各分詞字段的屬性和對應索引計算日志解析指紋，將所述日志解析指紋作為所述LITD樹的二級節點；

A4、將所述各分詞字段的索引和內容屬性作為所述LITD樹的三級節點；

A5、返回步驟A1；

其中，所述計算日志解析指紋包括以下步驟：

對文本字符串形式的原始日志信息進行分詞；

在所述分詞后，獲得所述各個分詞字段的索引S_i；其中，i＝0,1,2,3…n；n是所述分詞字段的總個數；

并獲得所述各個分詞字段對應的內容正則解析規則R_i；其中，i＝0,1,2,3…n；n是所述分詞字段的總個數；

根據所述各個分詞字段的索引S_i和所述內容正則解析規則R_i，依據下式計算所述日志解析指紋：

S₀R₀-S₁R₁-S₂R₂-S₃R₃…S_nR_n。

3.如權利要求1或2所述的方法，其特征在于，所述步驟C具體包括以下步驟：

C1、采集系統日志SYSLOG日志，解析所述報送設備IP信息，將所述報送設備IP信息與所述LITD樹的一級節點中的所述報送設備IP進行比較，定位所述SYSLOG日志對應的所述LITD樹的二級節點，如果所采集的所述SYSLOG日志的報送設備IP信息與所述LITD樹中的所有報送設備IP都不匹配，則進入學習階段A，構建該SYSLOG日志對應的LITD樹；如果在當前的所述LITD樹的一級節點中找到了與所采集的所述SYSLOG日志的報送設備IP信息匹配的所述報送設備IP，則進入步驟C2；

C2、采用所述分詞工具對所述SYSLOG日志中代表原始日志的MSG字段進行分詞，并按順序對分詞結果進行索引；

C3、計算獲得所述SYSLOG日志的所述日志解析指紋，將所述日志解析指紋與所述LITD樹的二級節點中的日志解析指紋進行比較，定位所述SYSLOG日志對應的所述LITD樹的三級節點，如果所采集的所述SYSLOG日志的日志解析指紋與所述LITD樹中的所有日志解析指紋都不匹配，則進入學習階段A，構建該SYSLOG日志對應的LITD樹；如果在當前的所述LITD樹的二級節點中找到了與所采集的所述SYSLOG日志的日志解析指紋匹配的日志解析指紋，則進入步驟C4；

C4、通過將所述SYSLOG日志的分詞數據信息與決策樹三級節點中的分詞數據信息進行比較，獲得對所述SYSLOG日志的解析結果。