[發明專利]一種海量多源異構日志關聯分析方法

在審

• 申請號: 201310379251.0
• 申請日: 2013-08-27
• 公開（公告）號: CN103546312A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 高景生;王潤高;孫宇;孫寶貴;沈艷林
• 申請（專利權）人: 中國航天科工集團第二研究院七〇六所
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種海量多源異構日志關聯分析方法，其特征在于，包括如下步驟：

步驟1：對原始數據進行預處理，剔除錯誤日志，多源異構日志歸一化，生成格式化的安全事件信息；

步驟2：基于事件各個字段的內容，生成一個描述本事件的特征向量；

步驟3：將不同設備所產生的事件分類存儲；

步驟4：不同設備的事件進行相似度計算并比較，判斷是否屬于同一類事件，通過基于相似度公式進行距離計算實現，若距離小于閾值，閾值大于0.9，即認為同類事件；

對于不同設備上報同類事件，需要判斷是否為一件事，如果是一件事需要剔除，剔除原則：

|t₁-t₂|<window

其中，其中t₁是事件1的發生時間，t₂是事件2發生的時間；window是時間閾值，可根據網絡延時情況設定，建議小于1分鐘；

將不同的事件中的同類事件進行兩兩合并，并剔除重復事件；

步驟5：按事件發生的順序進行排序；針對同一個文件內的日志進行的，進行相似度計算；首先計算由于按照指定的時間窗口，指定的時間窗口小于1分鐘，將在同一窗口的同類事件進行合并，以減少數量；同時生成各類事件的統計分析結果；

步驟6：對事件應用關聯分析算法，在支持度和置信度下分析事件的關聯關系；

步驟7：生成各類事件的統計分析報告及關聯分析結果報告。