[發明專利]基于Apriori算法的安全日志分析方法

在審

• 申請號: 201310568041.6
• 申請日: 2013-11-13
• 公開（公告）號: CN103581198A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 姜學峰;李威;李健俊;王正敏
• 申請（專利權）人: 浙江中煙工業有限責任公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 杭州豐禾專利事務所有限公司 33214
• 代理人: 王從友

技術領域

本發明涉及一種針對安全日志的分析方法，將Apriori算法應用到安全日志的分析，能實現從大量不同類型的安全日志中分析出具有關聯特性的安全日志，屬于信息技術領域。

背景技術

目前，計算機網絡往往部署了多種網絡安全產品，如防火墻、入侵檢測設備、防病毒產品、安全審計產品等，來保障網絡系統的安全。這些安全產品會產生大量安全日志，日志服務器雖然能夠通過采用日志文件、主動輪詢、遠程探測、被動接收、嵌入式Agent等多種方式對安全設備產生的日志進行收集和統一管理，但不同安全產品產生的日志各不相同，即使是同一個安全事件引發各安全產品產生各不相同的日志，包括日志格式不同、事件級別和類型不同、事件信息內容不同，因此每個安全產品都會產生大量的安全日志，這為安全管理員的安全分析代理很多的工作量。其中很多安全事件或日志都是由相同的安全攻擊行為產生的，它們之間存在內在的關聯性，如果能對各安全產品產生的安全事件進行關聯分析，將具有關聯性的安全日志歸并到一起，就能大大減輕安全事件分析的工作量，提高安全事件處置和響應的效率。盡管目前日志服務器能夠實現各種安全日志的管理，但主要側重于日志的統一采集、存儲、查詢和統計，日志的分析能力比較弱，尤其缺乏各安全日志之間的關聯分析，無法將同一安全事件引發的多條日志進行有效關聯分析。由于各安全產品每天產生大量的日志記錄，日志量非常龐大，管理員關注的信息往往淹沒在大量普通的信息中。Apriori算法是挖掘產生布爾關聯規則所需頻繁項集的基本算法，它利用了一個層次順序搜索的循環方法來完成頻繁項集的挖掘工作。這一循環方法就是利用k-項集來產生(k+1)-項集。具體做法就是：首先找出頻繁1-項集，記為L₁；然后利用L₁來挖掘L₂，即頻繁2-項集；不斷如此循環下去直到無法發現更多的頻繁k-項集為止。Apriori算法利用了一個重要性質，又稱為Apriori性質（一個頻繁項集中任一子集也應是頻繁項集）來幫助有效縮小頻繁項集的搜索空間。利用L_k-1來獲得L_k主要包含連接和刪除兩個處理步驟：1）連接：設l₁和l₂為L_k-1中的兩個項集，l_i[j]表示l_i中的第j個項。假設數據庫記錄中各項均已按字典排序。如果(l₁[1]=?l₂[1])∧…∧(l₁[k-2]=?l₂[k-2])?∧(l₁[k-1]<l₂[k-1])，則L_k-1中l₁和l₂就可以連接到一起獲得L_k的候選集合C_k。2）刪除：C_k是L_k的一個超集，C_k中所有頻度不小于最小支持頻度的候選項集就是屬于L_k的頻繁k-項集。在找到所有的頻繁項集后，就可以較為容易獲得相應的關聯規則。可以利用下面的條件概率計算公式來計算所獲關聯規則的信任度：

其中，supp_num(X∪Y)為包含項集X∪Y的記錄數目，supp_num(X)為包含項集X的記錄數目。具體產生關聯規則的操作如下：

對于每個頻繁項集l的非空子集s，若

則產生一個關聯規則“s???(l-s)”，其中min_conf為設定的最小信任度閾值。

如果將所有日志安全合規性事件設為一個集合，每個日志安全合規性事件均為一個布爾值（真/假）的變量以描述該日志安全合規性事件是否在某類日志（操作系統日志、應用系統日志、安全設備日志）產生，那么檢測模型針對某類日志產生的每個日志安全合規性事件都能用一個布爾向量來表示，分析相應的布爾向量就可以獲得哪些日志安全合規性事件是關聯發生的。找到諸如某個日志文件的記錄是否在一定信任度上伴隨著另一個日志文件的記錄等關聯規則，可以發現用戶各類行為之間的關聯性。

發明內容

????本發明的目的在于克服日志服務器中安全日志關聯分析技術中的不足，提出一種基于Apriori算法的安全日志關聯分析方法，從大量的安全日志信息中，找出具有關聯性的日志記錄，從而分析出異常的網絡訪問行為，有效提高對安全日志信息的挖掘和利用能力，為安全管理系統和網絡監控分析系統提供有利的技術支持。