[發明專利]一種基于強化學習和知識圖譜的設備故障溯因方法

有效

• 申請號: 202010737376.6
• 申請日: 2020-07-28
• 公開（公告）號: CN112100392B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 陳華鈞;畢禎;陳名楊
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/33
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于強化學習和知識圖譜的故障溯因方法，包括：(1)構建樣本實例，編碼樣本實例，得到包含設備的節點表示、告警信息表示的樣本實例表示，根據根因對編碼得到根因關系表示；(2)基于強化學習構建策略網絡，用于根據環境狀態信息確定下一時刻的動作決策；(3)根據設定的時間步長閾值內動作決策結果構建獎勵值，利用依據獎勵值構建的損失函數更新策略網絡參數、節點表示、告警信息表示、根因關系表示；(4)應用時，將實例表示作為策略網絡的輸入，利用策略網絡獲得接下來每個時刻里連接的設備節點，依據連接的每個設備節點追溯得到故障設備節點對應的根因設備節點?？梢詮墓收瞎濣c開始溯因，通過因果鏈找到根因節點。

技術領域

本發明屬于故障檢測領域，具體涉及一種基于強化學習和知識圖譜的故障溯因方法。

背景技術

知識圖譜作為一種特殊的圖數據，是一種人類可識別并且對機器友好的知識表示。作為一種應用型技術，知識圖譜在很多領域中都得到了廣泛的應用，例如信息檢索、自然語言理解、問答系統、推薦系統、金融風控、教育醫療等。然而，如何自動化地構建高質量的知識圖譜，以及如何充分地利用知識圖譜的實體和關系所包含的語義進行推理，仍是需要研究的問題，比如說使用知識圖譜的鏈接預測算法。鏈接預測指給定頭實體(或尾實體)和關系，預測實體在該關系的對應的尾實體(或頭實體)，當然也可以給定兩個實體預測它們最有可能存在的關系。因此，一方面我們可以利用鏈接預測來補全已有的知識圖譜，另一方面鏈接預測算法也可以看作是利用知識圖譜已有的語義信息做推理，這在一些應用例如問答系統中是非常有幫助的。在知識圖譜的鏈接預測算法，一些研究者進一步引出了可解釋性問題的研究。其不僅僅是作出鏈接預測，還需要解釋作出這樣選擇原因，表示為一條解釋性的路徑，相關工作為設備溯因的場景提供了思路上的啟發。

故障溯因檢測是一種特殊的場景。其設備之間可以由不同的關系，可以由知識圖譜來表示。更明確的說，設備之間構成的圖譜是一種動態的知識圖譜。在這樣的圖譜里面，會存在一些特殊的“現象”。比如說某一個節點發生了故障，因為節點之間存在著依賴的關系，所以該節點的故障會依次向外傳播，形成一條故障傳播的鏈路。同時每一個被影響到的設備節點都會產生一些表征現象。這種現象被稱為告警，可以理解為向外發出的警告，包含了該節點故障的一系列的信息，比如說是故障的種類、故障發生的時間等。最終這條故障鏈路會傳播到最上層的某一些節點，這些節點會產生一種名叫KPI(Key PerformanceIndicator，關鍵績效指標)的信息，同樣的用來描述故障。當維修專家進行維修時，其首先接觸到的最表層的故障節點。然后根據一系列的告警和KPI的信息，從最表層進行溯因。

強化學習的算法模型可以簡單定位一個四元組(S,P,A,R)，其中S表示環境狀態State；P表示需要訓練的策略網絡；A表示智能體執行的動作Action；R表示獎勵值Reward。強化學習可以簡單地看作是一種搜索算法，但是它搜索的方向并非是隨機的，是由訓練好的策略網絡來確定的。它每一種選擇都是概率，根據概率來選擇搜索的方向。需要注意的是并非智能體每次都會選概率最大的Action，這是一個隨機的過程。

發明內容

本發明的目的是提供一種基于強化學習和知識圖譜的故障溯因方法，該故障溯因方法可以直接從表層的故障節點開始溯因，從而形成一條因果鏈，最終找到深層的根因節點。

為實現上述發明目的，本發明提供的技術方案為：

一種基于強化學習和知識圖譜的故障溯因方法，所述故障溯因方法包括以下步驟：

(1)構建應用場景的設備知識圖譜，提取每時刻的故障設備節點和對應根因設備節點組成根因對，該根因對與出現故障時刻的場景告警信息、設備知識圖譜形成一個樣本實例，編碼樣本實例，得到包含設備的節點表示、告警信息表示的樣本實例表示，根據根因對編碼得到根因關系表示；

(2)基于強化學習構建包括環境狀態構建單元和決策確定單元的策略網絡，所述環境狀態構建單元用于根據樣本實例表示和根因關系表示構建環境狀態信息，所述決策確定單元用于根據環境狀態信息確定下一時刻的動作決策；