[發明專利]MapReduce環境下的異常檢測方法

有效

• 申請號: 201210137232.2
• 申請日: 2012-05-04
• 公開（公告）號: CN102664961A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 王穎;孟洛明;王凱;陳興渝;高志鵬;王智立;邱雪松
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 瞿衛軍

技術領域

本發明涉及信息技術領域，尤其涉及一種MapReduce環境下的異常檢測方法。

背景技術

隨著虛擬化等關鍵技術的發展，云計算作為一種新興的信息技術運用模式得到越來越廣泛的關注和普及。通過采用精心設計的系統架構對設備進行組織管理，云計算能夠提供十分強大的計算能力。一個著名的云計算架構是Google的MapReduce，它能將任務并行且分布式地運行于大型的集群中。

MapReduce中運行的多是一些耗時較長的任務，不同的任務有不同的需求，同一任務每次執行的時間也不盡相同，一般會相差幾分鐘甚至更多時間，而且不同的硬件設施也會導致響應時間不同，因此，很難定義一個超時閥值來指示任務是否異常。此外，MapReduce還具有分布式多節點并行運算的特點。由于需要同時檢測多個計算節點，且這些節點相互影響，這也增加了異常檢測的難度。當系統發生異常時，會導致完成任務所需的時間增加并影響單位時間的數據吞吐量，嚴重時更會中斷任務，這些都會影響運行在云上的企業業務，給企業自身及其客戶帶來損失。因此需要及時地檢測系統異常，以減少和避免損失。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是：提供一種及時檢測系統異常、以減少和避免損失的MapReduce環境下的異常檢測方法。

(二)技術方案

為解決上述問題，本發明提供了一種MapReduce環境下的異常檢測方法，包括以下步驟：

S1：采集MapReduce中各從節點的性能指標值，并傳遞給主節點；

S2：根據性能指標的類別對采集到的各從節點的性能指標值進行分類；

S3：通過基于密度的聚類方法對分類后得到的各從節點的每一類性能指標值進行聚類；

S4：對聚類后的結果進行分析，記錄得到的異常結果并輸出。

優選地，所述性能指標為即時的操作系統級別的性能指標。

優選地，所述步驟S3對各從節點的某一類性能指標值進行聚類的步驟具體包括：

S31：輸入分類后得到的各從節點的某一類性能指標值；

S32：根據所述各從節點的該類性能指標值的大小將所述各從節點的該類性能指標值分為若干集群；其中，一個從節點的該類性能指標值與所在集群中的至少一個其他從節點的該類性能指標值之差小于設定的閾值；

S33：輸出聚類后得到的所有集群。

優選地，所述步驟S32具體包括：

S321：對各從節點的該類性能指標值按照從大到小的順序進行排序；當然，在本發明的其它實施例中，還可以按照從小到大的順序進行排列；

S322：建立一個空白集群作為當前集群，并指定所述各從節點的該類性能指標值中最大的一個作為當前指向數據，并將所述當前指向數據加入當前集群；

S323：檢測所有集群外是否還有剩余的從節點的該類性能指標值，如果沒有，則轉到步驟S33；如果有，則轉到步驟S324；

S324：判斷當前指向數據和下一個從節點的該類性能指標值之間的差值與預先設定的閾值之間的關系，如果所述差值小于等于所述預先設定的閾值，則進入步驟S325；否則，如果所述差值大于所述預先設定的閾值，則進入步驟S326；

S325：將所述下一個從節點的該類性能指標值加入到當前集群中，并將所述下一個從節點的該類性能指標值指定為當前指向數據，然后回到步驟S323；

S326：重新建立新的集群作為當前集群，并將所述下一個從節點的該類性能指標值指定為當前指向數據加入當前集群，然后返回到步驟S323。

優選地，步驟S33中輸出的各集群按照建立的先后順序排列。

優選地，所述步驟S4對聚類后的結果進行的分析包括：

計算各個集群內的從節點的該類性能指標值的個數；

定義含有從節點的該類性能指標值個數最多的集群為正常集群，其它集群為異常集群，其中：位置在正常集群之前的集群為值偏高的集群，位置在正常集群之后的集群為值偏低的集群；

輸出異常集群中的各從節點的該類性能指標值所對應的信息。

優選地，所述屬于值偏高和偏低的集群中的各從節點的該類性能指標值所對應的信息包括：節點名稱、異常時刻、性能指標類別、值偏高還是偏低、以及異常程度。

優選地，所述異常程度通過下面的方法得到：