[發明專利]一種對重復出現類型故障的可操作可解釋的根因定位方法

在審

• 申請號: 202210168856.4
• 申請日: 2022-02-23
• 公開（公告）號: CN114661504A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 裴丹;李則言
• 申請（專利權）人: 清華大學
• 主分類號: G06F11/07
• 分類號: G06F11/07
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 杜月

本申請公開了一種對重復出現類型故障的可操作可解釋的根因定位方法，其中，該方法包括：利用監控系統進行故障監控，基于監控系統監控到的故障觸發訓練好的根因定位模型，其中，訓練好的根因定位模型通過訓練好的決策樹進行全局解釋；根據故障發生時的故障實例對應的指標數據和故障依賴圖得到根因故障實例，并對根因故障實例的定位結果進行局部解釋；其中，故障依賴圖根據故障實例構建。本申請能夠實現可操作和可解釋性的根因定，可直接根據定位結果得到如何進行修復操作，可精確定位結果。

技術領域

本申請涉及據故障診斷和根因定位技術領域，尤其涉及一種對重復出現類型故障的可操作可解釋的根因定位方法和裝置。

背景技術

在線服務系統，例如網上銀行和搜索引擎等等，在我們的生活中已成為不可或缺的一部分。在線服務由許許多多的組件組成，例如負載均衡器、Web服務器、容器、數據庫等等。這些組件共同工作、互相調用提供服務，組件之間存在復雜的依賴關系。由于在線服務系統的巨大規模和高復雜度。在線服務系統的故障時不可避免的，這樣的故障會導致巨大的經濟損失和用戶滿意度的降低。因此，為了減少故障導致的負面影響，根因定位是很關鍵的。

在實際的在線服務系統中，大多數的故障都是重復類型的。例如超過94％的故障都是有一小部分重復類型的根因的導致的。這樣的重復類型故障的例子包括,因為缺少數據庫中對應字段的索引導致的高服務響應時間，由于第三方服務不可用導致的服務成功率降低等等。因此，對于重復類型的故障進行定位非常重要。

為了對在線服務系統進行故障診斷和根因定位，有多種類型的監控數據持續被采集。其中，指標數據是在每個組件上對其關鍵性能指標的持續監控,存儲為時間序列的形式。相比日志數據，指標數據的類型單一，分析簡單，數據量少，而且足以反映組件的異常狀態。和調用鏈數據相比，指標數據能夠反映底層性能指標(例如CPU,內存等)。

在現有的實踐中，對重復類型的故障的根因定位以來有經驗的運維人員從經年累月的排障經歷中積累的知覺。有經驗的運維人員能夠從在線服務系統的癥狀，例如指標的形態，猜測出可能是什么樣的故障，并基于此進行進一步的確認。由于組件間復雜的依賴關系，根因可能導致一系列組件都出現問題。運維人員基于他們的經驗可以分析這樣的關聯異常之間的關系，從而找到真正的根因。另一方面，在找到故障的根因之后，運維人員可以從歷史上其他相似故障的修復經驗中找到參考，更快找到更準確的修復方案并執行修復操作。

目前的通過機器學習方法，將故障根因服務定位的問題建模為多分類(每一類是一個可能的根因服務)的問題。采用的數據基于調用鏈，系統的全局配置，服務的指標等。基于歷史故障數據訓練一個多分類模型，其中具體的機器學習算法采用隨機森林、多層感知機或者k-近鄰等。然后當故障發生時，通過訓練好的模型給出哪個服務更可能是根因服務。MEPFL定位的根因的粒度是根因服務,而且沒有對分類結果進行任何解釋。

目前的通過搜索歷史上的相似故障進行間接的根因定位的方法，它只推薦相似歷史故障，得到的相似歷史故障的根因可能就是當前故障的根因。它將每一個故障建模為一個故障圖，故障圖的節點是系統中的組件，節點特征是該組件的各種關鍵指標，邊是組件之間的部署關系。

針對現有的方法，沒有可操作性，現有的根因定位方法定位到的粒度要么太粗(例如，服務)或者太細(例如，單個指標)，都不足以讓運維人員從這樣的定位結果直接確定如何采取修復操作。沒有可解釋性，現有的根因定位方法缺乏可解釋性，無法讓運維人員理解算法是如何給出根因的。這里指的可解釋性包含兩方面：局部解釋，即解釋單個故障的定位結果是如何給出的；全局解釋，即解釋整個定位方法或者模型的邏輯。

申請內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。