[發(fā)明專利]一種基于多智能體強化學習的路徑規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 201811032979.5
• 申請日: 2018-09-05
• 公開（公告）號: CN109059931B
• 公開（公告）日: 2019-04-26
• 發(fā)明（設計）人: 曹先彬;杜文博;李碧月;李宇萌;劉瑜
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G01C21/20
• 分類號: G01C21/20
• 代理公司: 北京永創(chuàng)新實專利事務所 11121
• 代理人: 冀學軍

1.一種基于多智能體強化學習的路徑規(guī)劃方法，其特征在于，具體步驟如下：

步驟一、建立空中飛行環(huán)境的全局狀態(tài)劃分模型；根據(jù)全局狀態(tài)劃分模型初始化全局狀態(tài)轉移表Q-Table₁；同時設定回報機制建立全局回報矩陣R₁；

步驟二、根據(jù)初始化的全局狀態(tài)轉移表Q-Table₁，隨機選擇某行的全局狀態(tài)，作為起始狀態(tài)s₁；并設定外層循環(huán)的最大迭代次數(shù)N₁；

步驟三、判斷起始狀態(tài)s₁是否為目標點，如果是，進入步驟九；否則，進入步驟四；

步驟四、針對全局狀態(tài)轉移表Q-Table₁，在當前狀態(tài)s₁所有的列中，利用ε-greedy算法選擇某個列記為行為a₁；

步驟五、利用選定的行為a₁，在全局狀態(tài)轉移表Q-Table₁中得到當前狀態(tài)s₁的下一個狀態(tài)

行為a₁所在的列數(shù)即為下一個狀態(tài)所在的行數(shù)；

步驟六、利用Q-Learning算法的轉移規(guī)則更新全局狀態(tài)轉移表Q-Table₁中，當前狀態(tài)s₁以及行為a₁所對應的具體元素值；

具體如下式所示：

其中Q(s₁,a₁)表示更新后全局狀態(tài)轉移表Q-Table₁中狀態(tài)s₁選擇行為a₁所對應的元素值；R₁(s₁,a₁)表示全局回報矩陣R₁中，當前狀態(tài)s₁采取行為a₁對應的即時回報價值；γ₁為全局智能體的折扣因子常數(shù)，滿足0≤γ₁＜1；表示下一個狀態(tài)在全局狀態(tài)轉移表Q-Table₁中所有可選行為中的最大元素值；表示下一個狀態(tài)所對應的行為；

步驟七、更新判斷s₁是否為全局狀態(tài)中的目標點，如果是，進入步驟九；否則，進行步驟八；

步驟八、進入內(nèi)層循環(huán)，采用Q-Learning算法得到更新后的狀態(tài)s₁所對應的局部規(guī)劃路徑；

具體步驟為：

步驟801、更新后的狀態(tài)s₁對應的是威脅源，將該威脅源及其周圍區(qū)域劃分為局部狀態(tài)網(wǎng)格，每一個網(wǎng)格對應一個局部狀態(tài)；所有狀態(tài)網(wǎng)格構成要學習的局部狀態(tài)轉移表Q-Table₂，同時建立局部回報矩陣R₂；

步驟802、初始化局部狀態(tài)轉移表Q-Table₂為零矩陣，隨機選擇某行網(wǎng)格中的局部狀態(tài)，作為起始狀態(tài)s₂；設定內(nèi)層循環(huán)的最大迭代次數(shù)N₂；

步驟803、在當前狀態(tài)s₂所有的列中，利用ε-greedy算法選擇某個列記為行為a₂；

步驟804、利用選定的行為a₂，在局部狀態(tài)轉移表Q-Table₂中得到當前狀態(tài)s₂的下一個狀態(tài)

行為a₂所在的列數(shù)即為下一個狀態(tài)所在的行數(shù)；

步驟805、利用Q-Learning算法更新局部狀態(tài)轉移表Q-Table₂中，當前狀態(tài)s₂以及行為a₂所對應的具體元素值；

Q(s₂,a₂)表示更新后局部狀態(tài)轉移表Q-Table₂中狀態(tài)s₂選擇行為a₂所對應的元素值；R₂(s₂,a₂)表示局部回報矩陣R₂中，當前狀態(tài)s₂采取行為a₂后的即時回報價值，γ₂表示局部智能體的折扣因子常數(shù)，滿足0≤γ₂＜1，表示下一個狀態(tài)在局部狀態(tài)轉移表Q-Table₂中所有可選行為中的最大元素值，表示下一個狀態(tài)所對應的行為；

步驟806、更新返回步驟803，直至迭代次數(shù)達到N₂完成內(nèi)層循環(huán)，得到當前狀態(tài)s₁所對應的局部規(guī)劃路徑；

根據(jù)網(wǎng)格中各個元素值，從起點開始，找出所有相鄰網(wǎng)格的最大元素值，將最大元素值所在的網(wǎng)格定為路徑的第一個網(wǎng)格，從該元素開始繼續(xù)找所有不重復的相鄰網(wǎng)格，選出最大元素值所在的網(wǎng)格定為路徑的第二個網(wǎng)格，依次類推，直到轉移到最后一個網(wǎng)格為終點網(wǎng)格，從起點到終點選中的所有轉移網(wǎng)格就是規(guī)劃出飛行器在空中的局部路徑；

步驟九、外層循環(huán)的迭代次數(shù)自增1，并判斷迭代次數(shù)是否達到N₁，如果是，完成飛行器在空中的全局路徑規(guī)劃；否則，重新隨機選擇起始狀態(tài)s₁并返回步驟三。