[發明專利]一種基于社區檢測的運維告警場景生成方法

有效

• 申請號: 202010216739.1
• 申請日: 2020-03-25
• 公開（公告）號: CN111414744B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊辰;葛曉波;殷傳旺
• 申請（專利權）人: 上海擎創信息技術有限公司
• 主分類號: G06F40/186
• 分類號: G06F40/186;G06F17/16;G06F18/22;G06F18/23;G06Q10/20;G06Q50/26
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于社區檢測的運維告警場景生成方法，其特征在于：所述方法包括如下步驟：

第一步：設置前提

某個組件發生錯誤時，與其相連的組件同樣也會報錯，具有因果關系的告警事件總是相伴隨發生；

第二步：定義基本參數

tolerance：時間間隔，兩個告警事件發生的時間間隔在tolerance以內時，算是有相關聯的告警事件,用于告警模板特征矩陣生成；

threshold：相似度閾值，計算兩個告警模板下包含告警事件的相似度，大于閾值時兩個告警模板相似，否則不相似，用于告警模板相似度矩陣生成；

numContain：場景中包含的告警模板的最少數量，場景中包含的告警模板數量大于numContain時保留該場景，否則丟棄，用于場景過濾；

support：支持度，告警模板中包含告警事件的個數，小于支持度時該告警模板不參與場景的生成；

第三步：數據預處理

對原始的告警事件利用日志聚類算法，進行提取模板，返回每個告警事件所屬的模板id；

第四步：拓撲劃分

用戶提供主機拓撲關系圖時，將處理后的告警事件根據拓撲關系劃分數據集，進而在每個子數據集上利用場景生成方法生成場景，否則在整個數據集上進行場景生成；

第五步：生成兩個告警模板之間的特征矩陣

將告警事件按照所屬的模板id進行分組，利用滑動窗口機制構造每對告警模板之間特征矩陣；

第六步：構造告警模板相似度矩陣

構造告警模板相似度矩陣M_|A|*|A|,|A|表示告警模板的數量，矩陣中的值M_ij用下面計算公式計算：

jaccard(A_i,A_j)為兩個告警模板的特征矩陣的Jaccard相似度；

此外，當M_ij＝0時，進一步判斷是否滿足下列公式：

若滿足則M_ij＝1；其中maxLen代表大的告警模板中包含告警事件的個數；滿足上式說明兩個告警模板中的告警事件總是伴隨著發生，但是有一個告警模板中的告警事件發生的次數多，導致兩個模板之間的jaccard相似度達不到閾值；

第七步：將告警模板相似度矩陣轉化為圖結構

將告警模板相似度矩陣轉化為圖結構，圖中的頂點為告警模板id，兩個告警模板i與j,M_ij＝1時，它們之間存在邊相連；

第八步：運用社區檢測Louvain算法將相關聯的告警聚類到同一場景

在圖結構上利用Louvain算法進行社區劃分，引入模塊度Q的概念，用來評價社區結構劃分的質量，模塊度越大則表明社區劃分效果越好，公式如下：

現在假設有x個節點，每個節點代表一個輸入，并且已經將這些輸入劃分為N個社區，節點之間共有m個連接，v和w是x中的任意兩個節點，A為鄰接矩陣，當這兩個節點直接相連時A_vw＝1，否則A_vw＝0；k_v＝∑_wA_vw是節點v的度，從一個節點出發有幾條邊，這個節點的度是多少；c_v表示節點v所在的社區，2m實際就是整個圖中的度，δ(c_vc_w)用來判斷節點v和w是否在同一個社區，在同一個社區δ(c_vc_w)＝1，否則δ(c_vc_w)＝0；運用社區檢測Louvain算法，將相關聯的告警聚類到一起，形成同一場景；

第九步：場景過濾

將社區劃分的結果進一步進行過濾，社區中包含的告警模板個數達到閾值numContain時，該社區成為一個場景，否則丟棄該社區；

第十步：場景驗證

在真實的告警數據集上驗證生成場景捕獲和聚集因果相關告警的效能。

2.根據權利要求1所述的一種基于社區檢測的運維告警場景生成方法，其特征在于：在所述第三步中，日志聚類算法包括logClusters算法、基于倒排表的日志聚類算法等。

3.根據權利要求1所述的一種基于社區檢測的運維告警場景生成方法，其特征在于：在所述第八步中，Louvain算法流程包括如下步驟：

Step1:將圖中的每個節點看成一個獨立的社區，社區的數目與節點個數相同；

Step2:對每個節點i，依次嘗試把節點i分配到其每個鄰居節點所在的社區，計算分配前與分配后的模塊度變化ΔQ，并記錄ΔQ最大的那個鄰居節點，如果maxΔQ0，則把節點i分配ΔQ最大的那個鄰居節點所在的社區，否則保持不變；

Step3:重復Step2，直到所有節點的所屬社區不再變化；

Step4:對圖進行壓縮，將所有在同一個社區的節點壓縮成一個新節點，社區內節點之間的邊的權重轉化為新節點的環的權重，社區間的邊權重轉化為新節點間的邊權重，是兩個社區之間各邊的權重總和；

Step5:重復Step1直到整個圖的模塊度不再發生變化。