[發明專利]一種基于深度強化學習的集群系統預防性維修方法

在審

• 申請號: 202110988026.1
• 申請日: 2021-08-26
• 公開（公告）號: CN113673721A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 馮強;吳其隆;任羿;王自力;孫博;楊德真
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/00
• 分類號: G06Q10/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于深度強化學習的集群系統預防性維修方法，解決了集群系統在長期運行過程中的預防性維修問題。步驟如下：1根據退化狀態建立集群系統“單一系統?單元”集群的剩余壽命狀態矩陣。2基于集群系統“單一系統?單元”集群剩余壽命狀態，評估集群系統可靠性水平。3設計一個神經網絡預測集群系統“單一系統?單元”集群的先驗維修概率和先驗維修策略價值。4構建預防性維修策略求解算法架構，遍歷預防性維修策略解空間，選擇一系列最佳維修動作。5基于集群剩余壽命狀態的變化計算集群系統可靠度，然后檢驗集群系統恢復程度。6由預防性維修策略求解過程存儲的一系列最佳維修動作生成一個完整的預防性策略。

所屬技術領域

本發明提供一種基于深度強化學習的集群系統預防性維修方法，尤其涉及一種考慮集群系統各組成單元的退化特征，基于深度強化學習算法，實現求解集群系統預防性維修問題的多單元集群維修決策方法，屬于維修性工程領域。

背景技術

預防性維修是指考慮產品退化狀態，提前采取維修措施預防故障發生。目前基于狀態的預防性維修正逐漸取代基于時間的預防性維修，集群系統由多個單一系統構成，具有高容錯性，在軍民領域得到廣泛應用。近年來集群系統的預防性維修問題得到較大重視，但現有研究對集群組成系統和單元的大規模特征與退化狀態特征，以及問題整體的非確定性多項式困難特征，考慮不充分。需要給出考慮集群各組成系統及單元退化狀態的高效預防性維修方法

本發明基于深度神經網絡預測模型和蒙特卡洛樹搜索算法，發明了一種基于深度強化學習的新型預防性維修方法，解決了集群系統長期工作運行過程中的預防性維修問題。

發明內容

本發明的目的是為長期工作運行過程中的集群系統提供一種新型的預防性維修方法，旨在解決傳統預防性維修方法未充分考慮集群系統各組成單元的大規模集群特征與退化狀態特征，以及問題整體的非確定性多項式困難特征。

本發明提出了一種基于深度強化學習的預防性維修方法，該方法綜合應用神經網絡預測模型和蒙特卡洛樹搜索算法生成預防性維修策略，主要包含以下步驟：

步驟一：集群系統退化狀態描述。

將集群系統預防性維修策略視為多組成單元的集群維修決策問題展開研究。首先，考慮集群系統由M個單一系統組成，則該集群系統的單一系統集合可以表示為K＝{k₁,k₂,…,k_m,…,k_M}；考慮各單一系統由N個單元組成，則其單元集合可以表示為U＝{u₁,u₂,…,u_n,…,u_N}。以此為基礎，考慮各單元的剩余壽命(Remaining Useful Life，RUL)，建立M×N的“單一系統-單元”狀態矩陣S_RUL，其中矩陣元素表示單元u_(m,n)在長期運行過程中的剩余壽命的退化狀態。

步驟二：集群系統可靠性評估。

定義R為全壽命周期的可靠度，當集群系統運行至時間τ時，單元u_(m,n)的可靠度可以表示為R_mn(τ)，同時單一系統k_m的可靠度可以表示為R_m(τ)，集群系統的“單一系統-單元”的集群可靠度可以表示為R_fleet(τ)。

步驟三：基于深度神經網絡的預防性維修策略預測。

設計一個深度殘差網絡(Residual Networks，ResNet)通過提取集群系統的集群剩余壽命特征，預測“單一系統-單元”集群的先驗維修概率矩陣p和先驗集群預防性維修策略價值v。

ResNet輸入特征矩陣：即當前的“單一系統-單元”集群剩余壽命狀態矩陣S_RUL。ResNet輸出信息：包括“單一系統-單元”集群的先驗集群維修概率p和一個先驗集群預防性維修策略價值v。