[發明專利]一種基于社區檢測的運維告警場景生成方法

有效

• 申請號: 202010216739.1
• 申請日: 2020-03-25
• 公開（公告）號: CN111414744B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊辰;葛曉波;殷傳旺
• 申請（專利權）人: 上海擎創信息技術有限公司
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F17/16;G06F18/22;G06F18/23;G06Q10/20;G06Q50/26
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發明提供一種基于社區檢測的運維告警場景生成方法，方法包括：第一步：設置前提；第二步：定義基本參數；第三步：數據預處理；第四步：拓撲劃分；第五步：生成兩個告警模板之間的特征矩陣；第六步：構造告警模板相似度矩陣；第七步：將告警模板相似度矩陣轉化為圖結構；第八步：運用社區檢測Louvain算法將相關聯的告警聚類到同一場景；第九步：場景過濾；第十步：場景驗證。本發明提供的方法可將相互關聯具有因果關系的內容劃分到一起生成場景，幫助運維人員快速診斷與排障。

技術領域

本發明屬于計算機技術領域，具體涉及一種基于社區檢測的運維告警場景生成方法

背景技術

近年來，在運維領域數據驅動算法通過對告警事件分析來定位硬件、網絡等系統故障的方法，得到了?廣泛的關注。在IT基礎設施中，告警事件的數量可能是無限多的，但是告警事件之間可能存在連鎖反應，?其他的告警事件都是由某一個關鍵告警事件引起的。比如，網絡基礎結構的核心組件(交換機)發生故障?并斷開連接，則它將影響許多其他與其互連的組件，這些組件會在相近的時間發送告警事件。

本發明利用矩陣和圖之間的類別等價性，將時間相似性的聚類轉化為圖劃分問題，運用社區檢測?Louvain算法將具有因果關系的告警事件聚類到同一個場景中。在大規模日志或告警數據中，將相互關聯?具有因果關系的內容劃分到一起生成場景，幫助運維人員快速診斷與排障。

發明內容

本發明的目的在提供一種基于社區檢測的運維告警場景生成方法，將具有因果關系的告警事件聚類到?同一個場景中，運維人員可以觀察該場景中的告警事件，定位導致該場景出現的根本原因。所述方法包括?如下步驟：

第一步：設置前提

某個組件發生錯誤時，與其相連的組件同樣也會報錯，具有因果關系的告警事件總是相伴隨發生；

第二步：定義基本參數

tolerance：時間間隔，兩個告警事件發生的時間間隔在tolerance以內時，算是有相關聯的告警事?件，用于告警模板特征矩陣生成；

threshold：相似度閾值，計算兩個告警模板下包含告警事件的相似度，大于閾值時兩個告警模板相?似，否則不相似，用于告警模板相似度矩陣生成；

numContain：場景中包含的告警模板的最少數量，場景中包含的告警模板數量大于numContain時保?留該場景，否則丟棄，用于場景過濾；

support：支持度，告警模板中包含告警事件的個數，小于支持度時該告警模板不參與場景的生成；

第三步：數據預處理

對原始的告警事件利用日志聚類算法，進行提取模板，返回每個告警事件所屬的模板id；

第四步：拓撲劃分

用戶提供主機拓撲關系圖時，將處理后的告警事件根據拓撲關系劃分數據集，進而在每個子數據集上?利用場景生成方法生成場景，否則在整個數據集上進行場景生成；

第五步：生成兩個告警模板之間的特征矩陣

將告警事件按照所屬的模板id進行分組，利用滑動窗口機制構造每對告警模板之間特征矩陣；

第六步：構造告警模板相似度矩陣

構造告警模板相似度矩陣M_|A|*|A|，|A|表示告警模板的數量，矩陣中的值M_ij用下面計算公式計算：

jaccard(A_i，A_j)為兩個告警模板的特征矩陣的Jaccard相似度；