[發明專利]一種實現日志數據實時關聯裝置及方法

在審

• 申請號: 201210444048.2
• 申請日: 2012-11-08
• 公開（公告）號: CN103812676A
• 公開（公告）日: 2014-05-21
• 發明（設計）人: 溫小明
• 申請（專利權）人: 深圳中興網信科技有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;程立民

技術領域

本發明涉及關聯規則數據挖掘技術領域，尤其涉及一種實現日志數據實時關聯裝置及方法。

背景技術

隨著數據庫技術的不斷發展及數據庫管理系統的廣泛應用，數據庫中存儲的數據量急劇增大，在大量的數據背后隱藏著許多重要信息。數據挖掘就是從大型的數據庫中提取出人們感興趣的信息數據。數據挖掘目的在于確定關聯規則。所述關聯規則是指在日志數據、關系數據或者其它信息載體中，存在與項目集合或對象集合之間的頻繁模式、相關性或因果結構。關聯規則的獲取途徑主要是利用數據挖掘方法從大量的事件記錄數據庫中找出數據之間的相關性或頻繁模式。其中，數據挖掘方法主要以Apriori(由原因推及結果)算法為代表，其后的MPL(The?Mozilla?Public?License，專用許可協議)等算法大多是在Apriori算法的基礎上衍生或者改進。

在網絡管理系統中，利用關聯規則，網管系統可將具有關聯性的多組日志數據進行存儲、運算等處理，以備后續網絡設備進行實時調用；而當關聯規則描述的是非授權日志數據之間的關聯性時，網管系統根據此時的關聯規則即可識別出當前的日志數據為非授權日志數據。

現有技術中，當發現有多組非授權日志數據存在時，由于非授權日志數據對于后續處理基本沒有作用，考慮到對存儲空間的不必要占用，因此需要人工逐組進行排查，繼而刪除非授權日志數據。人工排查過程繁瑣、工作量大、且容易造成排查漏洞。

發明內容

有鑒于此，本發明的主要目的在于提供一種實現日志數據實時關聯裝置及方法，進行關聯規則與數據的實時匹配，當發現非授權日志數據時，標識非授權日志數據，能夠解決人工排查工作量大的問題。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明提供了一種實現日志數據實時關聯裝置，該裝置包括數據預處理模塊和數據分析模塊；其中，

所述數據預處理模塊，用于對網絡設備中的數據進行采集，形成原始數據，并原始數據進行規范后形成規范數據；

所述數據分析模塊，用于將所述規范數據與關聯規則進行實時匹配，當匹配結果相同時，標識所述規范數據。

上述方案中，所述數據分析模塊，進一步用于：當所述規范數據與所述關聯規則的匹配結果相同時，產生告警。

上述方案中，所述數據預處理模塊包括采集單元、規范單元和接口單元；其中，

所述采集單元，用于對網絡設備中的數據進行采集，形成原始數據，發送至所述規范單元；

所述規范單元，用于對收到的原始數據進行泛化形成規范數據，發送至所述接口單元；

所述接口單元，用于將所述規范數據發送至所述數據分析模塊。

上述方案中，所述接口單元為socket接口。

上述方案中，所述數據分析模塊包括內存單元和關聯規則單元；其中，

所述關聯規則單元，用于加載存儲的關聯規則到所述內存單元；

所述內存單元，用于在指定的時間內，將所述規范數據與所述關聯規則進行匹配，當匹配結果相同時，標識所述規范數據。

上述方案中，所述內存單元，進一步用于：當所述規范數據與所述關聯規則的匹配結果不同時，存儲所述規范數據。

上述方案中，所述內存單元，進一步用于：在設定時間內，存儲的所述規范數據沒有被使用，將其刪除。

上述方案中，所述數據分析模塊進一步包括告警單元；

所述內存單元，進一步用于當規范數據與關聯規則的匹配結果為相同時，觸發所述告警單元；

所述告警單元，用于根據所述內存單元的觸發產生告警。

本發明還提供了一種實現日志數據實時關聯方法，所述方法包括：

采集數據、并將采集到的數據進行規范，形成規范數據；

將規范數據與關聯規則進行匹配，當匹配結果相同時，標識所述規范數據。

上述方案中，所述采集數據、并將采集到的數據進行規范，形成規范數據，包括：

對網絡設備中的數據進行采集，形成原始數據，然后數據預處理模塊對所述原始數據進行泛化形成規范數據，并發送至數據分析模塊。

上述方案中，所述將規范數據與關聯規則進行匹配，當匹配結果相同時，標識所述規范數據，包括：

加載存儲的關聯規則，在指定的時間內，然后將所述規范數據和所述關聯規則進行匹配，當匹配結果相同即當前的規范數據為非授權日志數據時，則標識所述規范數據。

上述方案中，所述標識所述規范數據之后進一步包括：產生告警。

上述方案中，所述方法還包括：