[發明專利]MapReduce環境下的異常檢測方法

有效

• 申請號: 201210137232.2
• 申請日: 2012-05-04
• 公開（公告）號: CN102664961A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 王穎;孟洛明;王凱;陳興渝;高志鵬;王智立;邱雪松
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 瞿衛軍

1.一種MapReduce環境下的異常檢測方法，其特征在于，包括以下步驟：

S1：采集MapReduce中各從節點的性能指標值，并傳遞給主節點；

S2：根據性能指標的類別對采集到的各從節點的性能指標值進行分類；

S3：通過基于密度的聚類方法對分類后得到的各從節點的每一類性能指標值進行聚類；

S4：對聚類后的結果進行分析，記錄得到的異常結果并輸出。

2.如權利要求1所述的MapReduce環境下的異常檢測方法，其特征在于，所述性能指標為即時的操作系統級別的性能指標。

3.如權利要求1所述的MapReduce環境下的異常檢測方法，其特征在于，所述步驟S3對各從節點的某一類性能指標值進行聚類的步驟具體包括：

S31：輸入分類后得到的各從節點的某一類性能指標值；

S32：根據所述各從節點的該類性能指標值的大小將所述各從節點的該類性能指標值分為若干集群；其中，一個從節點的該類性能指標值與所在集群中的至少一個其他從節點的該類性能指標值之差小于設定的閾值；

S33：輸出聚類后得到的所有集群。

4.如權利要求3所述的MapReduce環境下的異常檢測方法，其特征在于，所述步驟S32具體包括：

S321：對各從節點的該類性能指標值按照從大到小的順序進行排序；

S322：建立一個空白集群作為當前集群，并指定所述各從節點的該類性能指標值中最大的一個作為當前指向數據，并將所述當前指向數據加入當前集群；

S323：檢測所有集群外是否還有剩余的從節點的該類性能指標值，如果沒有，則轉到步驟S33；如果有，則轉到步驟S324；

S324：判斷當前指向數據和下一個從節點的該類性能指標值之間的差值與預先設定的閾值之間的關系，如果所述差值小于等于所述預先設定的閾值，則進入步驟S325；否則，如果所述差值大于所述預先設定的閾值，則進入步驟S326；

S325：將所述下一個從節點的該類性能指標值加入到當前集群中，并將所述下一個從節點的該類性能指標值指定為當前指向數據，然后回到步驟S323；

S326：重新建立新的集群作為當前集群，并將所述下一個從節點的該類性能指標值指定為當前指向數據加入當前集群，然后返回到步驟S323。

5.如權利要求4所述的MapReduce環境下的異常檢測方法，其特征在于，步驟S33中輸出的各集群按照建立的先后順序排列。

6.如權利要求5所述的MapReduce環境下的異常檢測方法，其特征在于，所述步驟S4對聚類后的結果進行的分析包括：

計算各個集群內的從節點的該類性能指標值的個數；

定義含有從節點的該類性能指標值個數最多的集群為正常集群，其它集群為異常集群，其中：位置在正常集群之前的集群為值偏高的集群，位置在正常集群之后的集群為值偏低的集群；

輸出異常集群中的各從節點的該類性能指標值所對應的信息。

7.如權利要求6所述的MapReduce環境下的異常檢測方法，其特征在于，所述屬于值偏高和偏低的集群中的各從節點的該類性能指標值所對應的信息包括：節點名稱、異常時刻、性能指標類別、值偏高還是偏低、以及異常程度。

8.如權利要求7所述的MapReduce環境下的異常檢測方法，其特征在于，所述異常程度通過下面的方法得到：

先計算出正常集群中各從節點的該類性能指標值的平均值，然后計算異常集群中的從節點的該類性能指標值與所述平均值之間的差距作為該從節點的該類性能指標值的異常程度。