[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的復(fù)雜網(wǎng)絡(luò)局部破壞控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010960298.6
• 申請(qǐng)日: 2020-09-14
• 公開(kāi)（公告）號(hào): CN112183777A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 馮強(qiáng);吳其隆;任羿;楊德真;孫博;王自力
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06Q10/00
• 分類號(hào): G06Q10/00;G06Q50/08;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于深度強(qiáng)化學(xué)習(xí)的復(fù)雜網(wǎng)絡(luò)局部破壞控制方法，其特征在于：它包含以下步驟：

第一步：復(fù)雜網(wǎng)絡(luò)局部破壞狀態(tài)特征描述：根據(jù)破壞信息建立復(fù)雜網(wǎng)絡(luò)“節(jié)點(diǎn)-單元”集群的維修狀態(tài)0-1矩陣。

第二步：復(fù)雜網(wǎng)絡(luò)連通狀態(tài)特征描述：考慮維修狀態(tài)矩陣與鄰接矩陣的映射關(guān)系，基于初始的集群維修狀態(tài)生成復(fù)雜網(wǎng)絡(luò)鄰接矩陣。

第三步：基于神經(jīng)網(wǎng)絡(luò)的局部破壞控制策略預(yù)測(cè)：設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)“節(jié)點(diǎn)-單元”集群的先驗(yàn)維修狀態(tài)轉(zhuǎn)移概率和先驗(yàn)局部破壞控制策略價(jià)值。

第四步：基于蒙特卡洛樹(shù)的局部破壞控制策略搜索：構(gòu)建局部破壞控制策略迭代體系，遍歷局部破壞控制策略解空間，得到改進(jìn)的局部破壞控制策略，并據(jù)此選擇當(dāng)前時(shí)刻全局最佳維修動(dòng)作。

第五步：檢驗(yàn)復(fù)雜網(wǎng)絡(luò)恢復(fù)程度：基于集群維修狀態(tài)的變化更新復(fù)雜網(wǎng)絡(luò)鄰接矩陣，然后基于更新的復(fù)雜網(wǎng)絡(luò)集群維修狀態(tài)和鄰接矩陣計(jì)算并檢驗(yàn)其恢復(fù)程度。

第六步：輸出局部破壞控制策略：由局部破壞控制策略迭代過(guò)程存儲(chǔ)的一系列最佳維修動(dòng)作生成一個(gè)完整的局部破壞控制策略。

通過(guò)以上步驟，給出了一種基于深度強(qiáng)化學(xué)習(xí)的局部破壞控制方法，可以解決復(fù)雜網(wǎng)絡(luò)局部破壞狀態(tài)下進(jìn)行集群維修的恢復(fù)策略問(wèn)題。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的復(fù)雜網(wǎng)絡(luò)局部破壞控制方法，其特征在于：在第一步中所述的“復(fù)雜網(wǎng)絡(luò)局部破壞狀態(tài)特征描述”中，將復(fù)雜網(wǎng)絡(luò)局部破壞控制問(wèn)題視為復(fù)雜網(wǎng)絡(luò)的多節(jié)點(diǎn)集群維修問(wèn)題，根據(jù)破壞信息建立復(fù)雜網(wǎng)絡(luò)“節(jié)點(diǎn)-單元”集群的維修狀態(tài)0-1矩陣。

首先，構(gòu)建復(fù)雜網(wǎng)絡(luò)的節(jié)點(diǎn)集合K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}(其中n為節(jié)點(diǎn)的個(gè)數(shù))，將各節(jié)點(diǎn)的組成進(jìn)行拆解，建立其單元集合U＝{u₁,u₂,…,u_i,…,u_j,…,u_m}。以此為基礎(chǔ)，建立m×n的“節(jié)點(diǎn)-單元”矩陣，并根據(jù)破壞信息用“0”、“1”對(duì)矩陣中元素賦值，形成維修狀態(tài)矩陣S。

3.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的復(fù)雜網(wǎng)絡(luò)局部破壞控制方法，其特征在于：在第二步中所述的“復(fù)雜網(wǎng)絡(luò)連通狀態(tài)特征描述”中，將一個(gè)復(fù)雜網(wǎng)絡(luò)抽象為一個(gè)由節(jié)點(diǎn)集K＝{k₁,k₂,…,k_i,…,k_j,…,k_n}和連接(邊)集組成的圖G＝(K,E)。用一個(gè)n×n的鄰接矩陣A描述復(fù)雜網(wǎng)絡(luò)中n個(gè)節(jié)點(diǎn)之間的連接關(guān)系(邊)，且不考慮自環(huán)。當(dāng)復(fù)雜網(wǎng)絡(luò)中所有單元均正常時(shí)，鄰接矩陣記為A*。

將節(jié)點(diǎn)k_i的單元集U_i＝{u₁,u₂,…,u_m}分為三類單元集則表示單元集中的所有節(jié)點(diǎn)均為破壞空間中的故障單元，同理可以對(duì)另外兩類單元集進(jìn)行描述。基于上述分類，以節(jié)點(diǎn)k_i為例，假設(shè)維修狀態(tài)矩陣S中元素與鄰接矩陣A中元素的映射關(guān)系f_S→A為

上述關(guān)系表示，當(dāng)節(jié)點(diǎn)k_i的a類單元全部破壞時(shí)，與該節(jié)點(diǎn)關(guān)聯(lián)的所有邊均斷開(kāi)；當(dāng)節(jié)點(diǎn)k_i的b類單元全部破壞時(shí)，由該節(jié)點(diǎn)指向其余節(jié)點(diǎn)的邊斷開(kāi)；當(dāng)節(jié)點(diǎn)k_i的c類單元全部破壞時(shí)，由其余節(jié)點(diǎn)指向該節(jié)點(diǎn)的邊斷開(kāi)。基于復(fù)雜網(wǎng)絡(luò)的初始維修狀態(tài)，由映射關(guān)系f_S→A可以生成初始維修狀態(tài)的鄰接矩陣A。