[發明專利]一種基于改進強化學習的復雜網絡局部破壞的自改進恢復策略

在審

• 申請號: 201810375758.1
• 申請日: 2018-04-25
• 公開（公告）號: CN108573303A
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 馮強;吳其隆;任羿;孫博;楊德真
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于改進強化學習的復雜網絡局部破壞的自改進恢復策略方法，其特征在于：它包含以下步驟：

第一步：基于局部破壞建立復雜網絡的集群維修狀態矩陣：根據破壞信息建立復雜網絡“節點-單元”集群的維修狀態0-1矩陣。

第二步：基于初始集群維修狀態生成復雜網絡鄰接矩陣：考慮維修狀態矩陣與鄰接矩陣的映射關系，基于初始的集群維修狀態生成復雜網絡鄰接矩陣。

第三步：基于神經網絡模型預測集群的先驗維修狀態轉移概率：設計一個SE-ResNet神經網絡預測“節點-單元”集群的先驗維修狀態轉移概率和先驗維修策略價值。

第四步：基于蒙特卡洛樹搜索算法遍歷集群的維修策略解空間：遍歷維修策略解空間，得到改進的維修狀態轉移概率矩陣，并據此選擇當前時刻全局最佳維修動作。

第五步：基于集群維修狀態的變化更新復雜網絡鄰接矩陣。

第六步：計算并檢驗復雜網絡的恢復程度：基于復雜網絡的集群維修狀態和鄰接矩陣計算并檢驗其恢復程度。

第七步：基于強化學習經驗參數訓練神經網絡參數：基于恢復策略自改進過程產生的一組最新的強化學習經驗參數，利用梯度下降法訓練神經網絡參數。

第八步：基于恢復策略自改進過程生成一個完整的維修恢復方案：由恢復策略自改進過程存儲的一系列最佳維修動作生成一個完整的維修恢復方案。

通過以上步驟，給出了一種基于改進強化學習的自改進恢復策略方法，可以解決復雜網絡局部破壞狀態下進行集群維修的恢復策略問題。

2.根據權利要求1所述的基于改進強化學習的復雜網絡局部破壞的自改進恢復策略方法，其特征在于：在第一步中所述的“基于局部破壞建立復雜網絡的集群維修狀態矩陣”中，將復雜網絡局部破壞狀態的恢復問題視為多節點的集群維修問題，根據破壞信息建立復雜網絡“節點-單元”集群的維修狀態0-1矩陣。

首先，構建復雜網絡的節點集合K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}(其中n為節點的個數)，將各節點的組成進行拆解，建立其單元集合U＝{u₁,u₂,…,u_i,…,u_j,…,u_m}。以此為基礎，建立m×n的“節點-單元”矩陣，并根據破壞信息用“0”、“1”對矩陣中元素賦值，形成維修狀態矩陣S。

3.根據權利要求1所述的基于改進強化學習的復雜網絡局部破壞的自改進恢復策略方法，其特征在于：在第二步中所述的“基于初始集群維修狀態生成復雜網絡鄰接矩陣”中，將一個復雜網絡抽象為一個由節點集K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}和連接(邊)集組成的圖G＝(K,E)。用一個n×n的鄰接矩陣A描述復雜網絡中n個節點之間的連接關系(邊)，且不考慮自環。當復雜網絡中所有單元均正常時，鄰接矩陣記為A*。

將節點k_i的單元集U_i＝{u₁,u₂,…,u_m}分為三類單元集則表示單元集中的所有節點均為破壞空間中的故障單元，同理可以對另外兩類單元集進行描述。基于上述分類，以節點k_i為例，假設維修狀態矩陣S中元素與鄰接矩陣A中元素的映射關系f_S→A為

上述關系表示，當節點k_i的a類單元全部破壞時，與該節點關聯的所有邊均斷開；當節點k_i的b類單元全部破壞時，由該節點指向其余節點的邊斷開；當節點k_i的c類單元全部破壞時，由其余節點指向該節點的邊斷開。基于復雜網絡的初始維修狀態，由映射關系f_S→A可以生成初始維修狀態的鄰接矩陣A。