[發明專利]一種海量多源異構日志關聯分析方法

在審

• 申請號: 201310379251.0
• 申請日: 2013-08-27
• 公開（公告）號: CN103546312A
• 公開（公告）日: 2014-01-29
• 發明（設計）人: 高景生;王潤高;孫宇;孫寶貴;沈艷林
• 申請（專利權）人: 中國航天科工集團第二研究院七〇六所
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

技術領域

本發明屬于網絡安全技術領域，是一種海量多源異構日志關聯分析方法。?

背景技術

隨著信息技術的發展，各企事業單位、黨政軍各級機構為了其自身內部網絡安全需要，安裝部署了網絡安全管理系統，用于集中管理內部網絡設備和各業務系統產生的事件，監測整體網絡的運營態勢。?

網絡安全管理系統的主要功能是收集內部網絡產生的安全事件并進行分析。收集的事件包括如下內容：防火墻日志信息、入侵檢測日志信息、病毒日志信息、漏洞掃描日志信息源、主機操作日志信息、業務系統的用戶操作日志信息、入侵防御日志信息、VPN日志信息、數據庫操作日志信息等。目前，設備類日志格式并無統一的規范，導致設備日志結構各異。?

內部網絡設備和業務系統所產生的事件數量，隨著安全管理系統的運營，會變得異常龐大，對這些日志的分析也變得困難。由于各類事件數量非常大，目前市面常用的分析方法主要基于統計的方法，但是該方法存在以下不足：?

設備之間存在功能交叉，針對同一行為會被不同設備分別上報，容易產生誤報。?

統計功能相對單一，分析不深入。?

發明內容

本發明就是為了解決上述問題，提出一種海量多源異構日志關聯分析方法，引入數據挖掘算法，對數據進行預處理，剔除重復事件，對事件進行聚合后再對事件進行深入分析。?

本發明結合各類事件的特點，對事件進行分類、聚合、不同設備間同類日志合并等處理后，基于數據挖掘算法進行分析，具體執行流程如圖1所示。?

本發明方法的具體步驟如下：?

步驟1：對原始數據進行預處理，剔除錯誤日志，多源異構日志歸一化，生成格式化的安全事件信息；?

步驟2：基于事件各個字段的內容，生成一個描述本事件的特征向量；?

步驟3：將不同設備所產生的事件分類存儲；?

步驟4：不同設備的事件進行相似度計算并比較，判斷是否屬于同一類事件，通過基于相似度公式進行距離計算實現，若距離小于閾值，閾值大于0.9，即認為同類事件；?

對于不同設備上報同類事件，需要判斷是否為一件事，如果是一件事需要剔除，剔除原則：?

|t₁-t₂|<window?

其中，其中t₁是事件1的發生時間，t₂是事件2發生的時間；window是時間閾值，可根據網絡延時情況設定，建議小于1分鐘；?

將不同的事件中的同類事件進行兩兩合并，并剔除重復事件；?

步驟5：按事件發生的順序進行排序；針對同一個文件內的日志進行的，進行相似度計算；首先計算由于按照指定的時間窗口，指定的時間窗口小于1分鐘，將在同一窗口的同類事件進行合并，以減少數量；同時生成各類事件的統計分析結果；?

步驟6：對事件應用關聯分析算法，在支持度和置信度下分析事件的關聯關系；?

步驟7：生成各類事件的統計分析報告及關聯分析結果報告通過上述方法的分析使得日志分析結果更加豐富全面且易于理解，提升了網絡安全管理的指導意義。?

附圖說明

圖1本發明流程圖。?

圖2日統計報表-按各類型統計?

圖3日統計報表-按安全類型統計?

圖4統計報表-按來源統計?

圖5關聯分析的舉例?

具體實施方式

下面結合流程圖，對實施方式詳細說明，應該強調的是，下述說明僅僅是示例性的，而不是為了限制本發明的范圍及其應用。?

步驟1：對原始數據進行預處理，剔除錯誤日志，多源異構日志歸一化，生成格式化的安全事件信息。?

用于分析的日志包括防火墻日志信息、入侵檢測日志信息、病毒日志信息、漏洞掃描日志信息源、主機操作日志信息、業務系統的用戶操作日志信息、入侵防御日志信息、VPN?日志信息、數據庫操作日志信息等，可根據實際情況加入其他設備日志信息。?

預處理過程大概分成如下步驟：?

（1）數據清洗，即剔除不合格日志。不合格日志分為兩類，一類是安防系統不需要接收的日志，比如系統的運維日志，由于安防設備并不會區分各類日志，而是將其產生的日志一并發送給接收者，因此需剔除這類并不是系統安全事件的日志；另一類是格式不正常的日志，比如發送方或日志在發送過程中網絡異常造成的某些數據丟失，解析后得到的數據不全，這類可丟棄。?