[發明專利]一種基于強化學習和知識圖譜的設備故障溯因方法

有效

• 申請號: 202010737376.6
• 申請日: 2020-07-28
• 公開（公告）號: CN112100392B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 陳華鈞;畢禎;陳名楊
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/33
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于強化學習和知識圖譜的故障溯因方法，其特征在于，所述故障溯因方法包括以下步驟：

(1)構建應用場景的設備知識圖譜，提取每時刻的故障設備節點和對應根因設備節點組成根因對，該根因對與出現故障時刻的場景告警信息、設備知識圖譜形成一個樣本實例，編碼樣本實例，得到包含設備的節點表示、告警信息表示的樣本實例表示，根據根因對編碼得到根因關系表示；

(2)基于強化學習構建包括環境狀態構建單元和決策確定單元的策略網絡，所述環境狀態構建單元用于根據樣本實例表示和根因關系表示構建環境狀態信息，所述決策確定單元用于根據環境狀態信息確定下一時刻的動作決策；

(3)根據設定的時間步長閾值內動作決策結果構建獎勵值，依據該獎勵值構建損失函數，利用該損失函數更新策略網絡參數、節點表示、告警信息表示、根因關系表示；

(4)應用時，以故障設備節點的節點表示、告警信息表示以及對應的根因關系表示作為策略網絡的輸入，利用策略網絡獲得接下來每個時刻里連接的設備節點，依據連接的每個設備節點追溯得到故障設備節點對應的根因設備節點。

2.如權利要求1所述的基于強化學習和知識圖譜的故障溯因方法，其特征在于，所述環境狀態構建單元構建的環境狀態信息s_t＝[m_t；h_t；a_t]，其中，s_t表示t時刻的全局環境狀態信息，其由t時刻的節點狀態信息m_t、歷史狀態信息h_t以及節點注意力信息a_t通過符號；拼接而成。

3.如權利要求2所述的基于強化學習和知識圖譜的故障溯因方法，其特征在于，根據設備的節點表示和根因關系表示構建節點狀態信息m_t為：

m_t＝[e_t；f_q(e_start,r_cause)]

其中，e_t為t時刻設備的節點表示，e_start為故障設備的節點表示，r_cause為故障設備節點對應的根因關系表示，f_q(e_start,r_cause)為對e_start和r_cause的融合操作。

4.如權利要求2所述的基于強化學習和知識圖譜的故障溯因方法，其特征在于，利用LSTM獲得歷史狀態信息h_t為：

h_t＝LSTM[h_t-1；m_t]

其中，h_t-1為t-1時刻的LSTM輸出的隱含層向量作為t-1時刻的歷史狀態信息，LSTM[h_t-1；m_t]表示將h_t-1與m_t通過符號；拼接后輸入至LSTM得到的t-1時刻的歷史狀態信息h_t，該歷史狀態信息h_t可以來記錄整條故障溯因路徑的信息。

5.如權利要求2所述的基于強化學習和知識圖譜的故障溯因方法，其特征在于，根據告警信息表示構建節點注意力信息a_t為：

其中，I_tk為屬于設備節點e_t的第k個告警信息表示，為屬于設備節點e_t的告警信息表示的總個數，λ_tk表示第k個告警信息表示I_tk與設備節點e_t的連接權重。