[發明專利]一種基于深度強化學習的集群系統預防性維修方法

在審

• 申請號: 202110988026.1
• 申請日: 2021-08-26
• 公開（公告）號: CN113673721A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 馮強;吳其隆;任羿;王自力;孫博;楊德真
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/00
• 分類號: G06Q10/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度強化學習的集群系統預防性維修方法，其特征在于：它包含以下步驟：

第一步：集群系統退化狀態描述：根據退化狀態建立集群系統“單一系統-單元”集群的剩余壽命狀態矩陣。

第二步：集群系統可靠性評估：基于集群系統“單一系統-單元”集群剩余壽命狀態，評估集群系統可靠性水平。

第三步：基于深度神經網絡的預防性維修策略預測：設計一個神經網絡預測集群系統“單一系統-單元”集群的先驗維修概率和先驗維修策略價值。

第四步：基于蒙特卡洛樹搜索算法的預防性維修策略搜索：構建預防性維修策略求解算法架構，遍歷預防性維修策略解空間，選擇一系列最佳維修動作。

第五步：檢驗集群系統恢復程度：基于集群剩余壽命狀態的變化計算集群系統可靠度，然后檢驗集群系統恢復程度。

第六步：輸出預防性維修策略：由預防性維修策略求解過程存儲的一系列最佳維修動作生成一個完整的預防性策略。

通過以上步驟，給出了一種基于深度強化學習的預防性維修方法，可以解決集群系統長期運行過程中進行“單一系統-單元”集群的預防性維修問題。

2.根據權利要求1所述的基于深度強化學習的集群系統預防性維修方法，其特征在于：在第一步中所述的“集群系統退化狀態描述”中，基于集群系統“單一系統-單元”集群剩余壽命狀態，評估集群系統可靠性水平。

將集群系統預防性維修策略視為多組成單元的集群維修決策問題展開研究。首先，考慮集群系統由M個單一系統組成，則該集群系統的單一系統集合可以表示為K＝{k₁,k₂,…,k_m,…,k_M}；考慮各單一系統由N個單元組成，則其單元集合可以表示為U＝{u₁,u₂,…,u_n,…,u_N}。以此為基礎，考慮各單元的剩余壽命(Remaining Useful Life，RUL)，建立M×N的“單一系統-單元”狀態矩陣S_RUL，其中矩陣元素表示單元u_(m,n)在長期運行過程中的剩余壽命的退化狀態。

3.根據權利要求1所述的基于深度強化學習的集群系統預防性維修方法，其特征在于：在第二步中所述的“集群系統可靠性評估”中，基于集群系統“單一系統-單元”集群剩余壽命狀態，評估集群系統可靠性水平。

定義R為全壽命周期的可靠度，當集群系統運行至時間τ時，單元u_(m,n)的可靠度可以表示為R_mn(τ)，同時單一系統k_m的可靠度可以表示為R_m(τ)，集群系統的“單一系統-單元”的集群可靠度可以表示為R_fleet(τ)。

4.根據權利要求1所述的基于深度強化學習的集群系統預防性維修方法，其特征在于：在第三步中所述的“基于深度神經網絡的預防性維修策略預測”中，設計一個深度殘差網絡(Residual Networks，ResNet)通過提取集群系統的集群剩余壽命特征，預測“單一系統-單元”集群的先驗維修概率矩陣p和先驗集群預防性維修策略價值v。

ResNet輸入特征矩陣：即當前的“單一系統-單元”集群剩余壽命狀態矩陣S_RUL。ResNet輸出信息：包括“單一系統-單元”集群的先驗集群維修概率p和一個先驗集群預防性維修策略價值v。

選用的神經網絡結構：包括卷積模塊、殘差模塊、ReLU函數模塊等。神經網絡的表達式為f_θ(S_RUL)＝(p,v)。