[發(fā)明專利]通信告警頻繁項集挖掘引擎及冗余處理方法

無效

• 申請?zhí)枺?/td>: 201110004357.3
• 申請日: 2011-01-11
• 公開（公告）號: CN102142992A
• 公開（公告）日: 2011-08-03
• 發(fā)明（設(shè)計）人: 李洋;苗再良
• 申請（專利權(quán)）人: 浪潮通信信息系統(tǒng)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及移動互聯(lián)網(wǎng)絡(luò)告警監(jiān)控領(lǐng)域，特別涉及基于數(shù)據(jù)挖掘技術(shù)的告警頻繁項集獲取領(lǐng)域，具體地說是一種通信告警頻繁項集挖掘引擎及冗余處理方法。

背景技術(shù)

移動通信告警量巨大，其中的一些告警發(fā)生的時候，總會有其它特定的告警隨之發(fā)生，這些在一段時間內(nèi)頻繁發(fā)生的告警稱之為告警頻繁項集。告警頻繁項集隱含著告警關(guān)聯(lián)的主要信息，是我們進行告警關(guān)聯(lián)分析的重要依據(jù)。數(shù)據(jù)挖掘中的頻繁項集挖掘算法，能夠從告警數(shù)據(jù)庫中可以挖掘出蘊含在大量告警中的頻繁項集，其中的頻繁模式增長算法能夠?qū)⒏婢畔Υ嬖谝活w頻繁模式樹中，通過遍歷頻繁模式樹，生成條件模式基和條件模式子樹，就能夠挖掘出告警中出現(xiàn)的頻繁項集。但是在實際工程應(yīng)用中，由于告警數(shù)量巨大，告警種類繁多，用于挖掘的告警數(shù)據(jù)量都在幾百萬甚至上千萬條。頻繁模式增長算法會產(chǎn)生大量的條件模式基和條件模式樹，使得算法的效率很低，并且得到的頻繁項集，相對于實際的工程應(yīng)用來說大部分是冗余的，使得后期的處理工作量巨大，效率低下。本發(fā)明針對上述問題構(gòu)建了高效的頻繁項集挖掘及冗余處理引擎，該引擎改進了頻繁模式增長算法的性能，有很強的執(zhí)行效率和實用性，能夠挖掘出復(fù)雜互聯(lián)通信設(shè)備的告警頻繁項集，并對挖掘結(jié)果進行冗余處理，為通信網(wǎng)絡(luò)告警頻繁項集挖掘工作提供有效和實用化的解決方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種通信告警頻繁項集挖掘引擎及冗余處理方法。

本發(fā)明的目的是按以下方式實現(xiàn)的，挖掘引擎包括以下內(nèi)容：

(1)采集通信告警數(shù)據(jù)并對數(shù)據(jù)進行預(yù)處理，通過對數(shù)據(jù)的預(yù)處理確保告警頻繁項集挖掘的效率、準確度以及最終結(jié)果的有效性；

(2)設(shè)定了告警時間窗和滑動步長兩個參數(shù)，將告警關(guān)系型數(shù)據(jù)轉(zhuǎn)化成事務(wù)型數(shù)據(jù)，最大程度地保證在一個告警時間窗內(nèi)告警發(fā)生的完整性，為告警頻繁項集的挖掘工作做準備；

(3)頻繁模式增長改進算法，建立項頭列表和條件模式樹，在每條路徑上挖掘低階項的所有條件模式基，并進行標記，在挖掘每一項時，首先判斷該節(jié)點標記，如果標記為真，則跳過該路徑，直接挖掘下一個路徑，這樣只需要挖掘部分低階的項，就可以遍歷所有的路徑，找出所有的條件模式基，然后生成條件模式樹，挖掘頻繁項集；

(4)對挖掘到的告警頻繁項集進行冗余處理，將最大頻繁項集的所有子集，在支持數(shù)上進行比較，從最大n階頻繁項集開始，如果n-1階子集的支持數(shù)大于等于最大n階頻繁項集的支持數(shù)不超過一個常數(shù)c，將此項集刪除，對于滿足上述的頻繁項集進行保留；

(5)對獲取到的告警頻繁項集進行歸納整理，并提供詳細的解釋信息，便于運維人員進行規(guī)則核對。

冗余處理步驟如下：

(1)從設(shè)備中采集告警數(shù)據(jù)，并對數(shù)據(jù)進行清洗和集成，建立告警id表來標記告警數(shù)據(jù)，完成數(shù)據(jù)的采集和準備工作；

(2)設(shè)置告警時間窗和滑動窗口，對數(shù)據(jù)進行轉(zhuǎn)換，將關(guān)系型告警數(shù)據(jù)，轉(zhuǎn)換成事務(wù)型告警數(shù)據(jù)；

(3)設(shè)置支持度閾值，調(diào)用改進的頻繁模式增長算法，對告警數(shù)據(jù)進行頻繁項集挖掘；

(4)對挖掘結(jié)果進行冗余處理；

(5)對最終得到的告警頻繁項集進行合理的解釋，并將結(jié)果呈現(xiàn)給運維人員便于查詢和維護。

本發(fā)明的優(yōu)異效果

(1)將人工智能中的數(shù)據(jù)挖掘算法引入到告警頻繁項集的挖掘應(yīng)用當中，并對算法進行了改進，使得算法能夠高效和準確地挖掘出告警頻繁項集。

(2)面向?qū)嶋H應(yīng)用，提出了頻繁模式增長改進算法，在原算法的基礎(chǔ)上對生成條件模式基和條件模式樹的方式進行了改進，使得該算法的處理能力有了極大的提高，能夠滿足工程應(yīng)用的需要。

(3)對告警頻繁項集的挖掘結(jié)果進行了冗余處理，從實際應(yīng)用的角度出發(fā)，剔除了其中一些冗余結(jié)果，使得挖掘結(jié)果能夠更加簡潔實用。

本發(fā)明不依賴于網(wǎng)絡(luò)模型與拓撲結(jié)構(gòu)，適用于移動互聯(lián)網(wǎng)、固網(wǎng)、通信網(wǎng)絡(luò)等多種網(wǎng)絡(luò)模型的告警頻繁項集獲取。

附圖說明

圖1是通信告警頻繁項集挖掘引擎結(jié)構(gòu)圖；

圖2是項頭列表與頻繁模式樹示意圖；

圖3是頻繁模式改進算法流程圖；

具體實施方式

參照說明書附圖對本發(fā)明的方法作以下詳細地說明。

本發(fā)明的通信告警頻繁項集挖掘引擎及冗余處理方法，是針對現(xiàn)代通信網(wǎng)絡(luò)告警監(jiān)控的需求，將數(shù)據(jù)挖掘算法中的頻繁模式增長算法進行改進，應(yīng)用到通信告警頻繁項集挖掘當中。從海量的告警中快速獲得告警頻繁項集，并且對挖掘結(jié)果進行了冗余處理，進而幫助運維人員高效地完成各類網(wǎng)絡(luò)告警信息的處理，為通信告警關(guān)聯(lián)分析工作提供一種創(chuàng)新的解決方案。

系統(tǒng)基本構(gòu)成和工作原理