[發明專利]一種故障定位方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010727337.8
• 申請日: 2020-07-27
• 公開（公告）號: CN111597070B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 李則言;張文池;程博;黃成;陳哲康;沈夢家;隋楷心;劉大鵬
• 申請（專利權）人: 北京必示科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07
• 代理公司: 北京華創智道知識產權代理事務所(普通合伙) 11888
• 代理人: 彭隨麗

本發明涉及計算機技術領域，公開了一種故障定位方法、裝置、電子設備及存儲介質，其中方法包括以下步驟：對任一相鄰節點所在邊進行異常檢測；根據異常檢測結果構建節點之間的故障傳播圖；在所述故障傳播圖上隨機游走定位故障根因，其中，所述定位故障根因通過構建所述故障傳播圖的轉移概率矩陣計算每個節點的根因疑似度，通過所述根因疑似度確認故障根因。本發明以無監督的方式，綜合多個指標，通過服務之間指標異常對服務整體異常的影響力，定量分析故障在服務之間的傳播關系，基于此通過隨機游走算法判斷根因，為一套有效的自動化定位故障根因服務的方案。

技術領域

本發明涉及計算機技術領域，更具體地說，涉及一種故障定位方法、裝置、電子設備及存儲介質。

背景技術

因為在交付、擴容和自動化等方面的優勢，基于服務的系統架構在大型服務的設計中被越來越多地采用。一個基于服務的系統通常可以具有幾十個到幾百個的服務，它們部署于成百上千的服務器上。雖然有很多技術應用于這類系統用來保證起質量，但是其中的錯誤依然是不可避免的。系統的故障會帶來極其巨大的經濟損失。

通常，在每個服務上會部署眾多的指標收集器（例如CPU使用率，服務響應率，成功率等）和異常檢測器，它們被用來檢測服務的異常。但是，人工分析系統的故障依然是非常有挑戰的。因為在基于服務的系統上，為了完成一個用戶的請求，需要許多服務通過相互調用的形式配合實現。因此當一個服務發生故障的時候，會有眾多的服務因為依賴關系而也產生異常，發出告警。此時運維人員必須手動逐個查看這些異常的服務，排除掉其中僅僅只是受影響而沒有故障的服務，最終定位到根因服務。對于大型系統而言，不同的服務可能由不同的運維人員甚至不同的部門管理，所以一次故障會涉及到眾多的運維人員和部門參與，定位成本極高。

為了快速定位故障根因，自動化的定位算法是非常必要的。本發明的發明人發現實現自動化定位有以下幾個難點：首先，服務之間有復雜的依賴關系。其次，基于服務的系統迭代頻率高，經常會進行變更。最后，這類系統上有著海量的指標，和故障有關的指標就會被淹沒在海量的指標中。

現有方法，需要通過許多過去積累的故障數據和對應的根因，即需要人工標注的標注數據，從中學習才能得到模型，進而定位。

發明內容

本發明的目的是解決上述提出的問題，提出了一種快速、穩健的故障定位方法，本方案包括：

對任一相鄰節點所在邊進行異常檢測；

根據異常檢測結果構建節點之間的故障傳播圖；

在所述故障傳播圖上隨機游走定位故障根因，其中，所述定位故障根因通過構建所述故障傳播圖的轉移概率矩陣計算每個節點的根因疑似度，通過所述根因疑似度確認故障根因。

優選的，所述異常檢測包括如下步驟：

對任一相鄰節點所在邊的所有指標進行異常度計算；

選擇異常度最大值作為該邊的異常度；

通過異常度的閾值判斷每一邊是否異常。

優選的，所述異常度計算基于3-sigma算法；

優選的，所述異常度計算通過指標的觀測值、均值和標準差得到。

優選的，所述構建節點之間的故障傳播圖的規則為：

若節點關系僅為調用關系，根據當前的異常指標自動確定故障傳播方向，所述故障傳播方向與所述故障傳播圖的游走方向相反；

若節點關系存在資源共享關系，故障從一個節點轉移到非調用關系的另一個節點；

優選的，所述隨機游走的步驟包括：

為所述故障傳播圖的每個節點添加自環，所述自環的轉移概率由該節點與異常度最大的后節點和異常度最大的前節點的異常度差值決定；