[發(fā)明專利]基于強化學(xué)習(xí)的多設(shè)備自適應(yīng)監(jiān)測方法

有效

• 申請?zhí)枺?/td>: 202110149333.0
• 申請日: 2021-02-03
• 公開（公告）號: CN112947554B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 顧晶晶;馬敬艷;黃海濤
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 朱炳斐

本發(fā)明公開了一種基于強化學(xué)習(xí)的多設(shè)備自適應(yīng)監(jiān)測方法，包括以下步驟：構(gòu)建基于圖的無人機環(huán)境巡邏監(jiān)控的環(huán)境模型拓撲結(jié)構(gòu)；對無人機的運動方式和通信范圍進行定義和約束；構(gòu)建基于信息交互的巡邏監(jiān)控協(xié)同模型；利用Q?Learning方法獲取最優(yōu)的多無人機巡邏監(jiān)控策略；構(gòu)建分布式巡邏監(jiān)控協(xié)同模型；通過集中式訓(xùn)練分布式執(zhí)行的訓(xùn)練方法優(yōu)化改進的值函數(shù)分解網(wǎng)絡(luò)VDNs模型，利用優(yōu)化后的模型實現(xiàn)極端環(huán)境多無人機自適應(yīng)巡邏監(jiān)控。本發(fā)明算法的魯棒性很強，能夠有效地解決不同復(fù)雜度的環(huán)境拓撲監(jiān)控問題；在同一場景中，能夠適應(yīng)增加或者減少無人機數(shù)量的極端情況；且解決了極端環(huán)境下，多無人機之間不能互相通信的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于巡邏監(jiān)控領(lǐng)域，特別是一種基于強化學(xué)習(xí)的多設(shè)備自適應(yīng)監(jiān)測方法。

背景技術(shù)

巡邏監(jiān)控任務(wù)是指對于指定范圍中的一些興趣區(qū)域進行規(guī)律的訪問，訪問這些興趣區(qū)域的目的可能是出于安全的考慮也可能是出于監(jiān)測的考慮。雖然飛行的無人機已經(jīng)能夠覆蓋很大的任務(wù)區(qū)域，但是在一些實時目標(biāo)追蹤任務(wù)中，無人機需要同時覆蓋多個區(qū)域，單無人機對于此類任務(wù)幾乎無能為力，因此多無人機區(qū)域監(jiān)控巡邏成為亟待解決的挑戰(zhàn)。在多無人機區(qū)域監(jiān)控巡邏系統(tǒng)中，最基礎(chǔ)的任務(wù)是完成多無人機之間的協(xié)同，以達到對整個監(jiān)控區(qū)域的覆蓋。在很多基于多無人機的方法中，通常以集中的方式實施多無人機的協(xié)同合作，同時也獲得了很好的效果。但是，維度災(zāi)難，單點計算的故障問題，以及高計算成本會導(dǎo)致集中化協(xié)調(diào)所有無人機成為一個時間和計算成本很高的任務(wù)，而且，很多復(fù)雜的問題本來就是分散的，集中式方法根本無法解決。雖然，很多方法通過假設(shè)所有無人機都可以獲取全局狀態(tài)信息，或者無人機之間可以進行無噪聲的通信能夠達到無人機分散式執(zhí)行的目的，但是這在很多無人機之間無法通過無線介質(zhì)進行通信的場景中是無法實現(xiàn)的。除此以外，在多無人機協(xié)同合作的過程中，不可避免地會出現(xiàn)無人機的故障問題，因此，多無人機協(xié)調(diào)算法如何自適應(yīng)地解決這一問題，也是本發(fā)明解決的重點。

在多無人機系統(tǒng)中，每個無人機負責(zé)固定區(qū)域的目標(biāo)追蹤任務(wù)，通過將追蹤數(shù)據(jù)實時傳輸?shù)皆贫藢崿F(xiàn)多區(qū)域的實時監(jiān)控；這些復(fù)雜且快速發(fā)展的因素將多無人機自適應(yīng)巡邏監(jiān)控變成了一項非常具有挑戰(zhàn)性的任務(wù)。

隨著研究的不斷深入，已經(jīng)有很多方法用于優(yōu)化巡邏系統(tǒng)中的算法的處理時間，監(jiān)測環(huán)境的覆蓋率以及算法的魯棒性。很多傳統(tǒng)的巡邏方法都依賴于巡邏區(qū)域的空間分解和旅行家問題的計算。文獻《Theoretical analysis of the multi-agent patrollingproblem》提出了兩種巡邏策略：基于循環(huán)的策略和基于分區(qū)的策略。在基于循環(huán)的策略中，智能體計算出一個閉合的路徑，并且該路徑連接著所有的目標(biāo)區(qū)域，智能體只需以最快速度，不停地沿著該路徑行走。這在單智能體的情況中，如果這條路徑是最短的，依據(jù)刷新時間和延遲等評價指標(biāo)，那么它就是最優(yōu)的巡邏路徑。在基于分區(qū)的策略中，將所有的訪問點分成m個子集，以m作為智能體隊伍的基數(shù)，這樣每個智能體能夠負責(zé)不同的區(qū)域，之后每個智能體在自己負責(zé)的區(qū)域生成閉合的巡邏路徑，以完成區(qū)域的重復(fù)性訪問。之后還對這兩種方法進行了比較，得出前者更適合用于小型巡邏環(huán)境中，后者在大型巡邏環(huán)境中取得了不錯的效果；文獻《Decentralized perimeter surveillance using a team of UAVs》針對不考慮通行距離對智能體影響的情況，提出了一種有效的分布式解決方案，用于解決周界巡邏問題；文獻《On cooperative patrolling:Optimal trajectories,complexityanalysis,and approximation algorithms》在其基礎(chǔ)上，運用圖分區(qū)和圖路由技術(shù)對其進行了擴展，比如將通行距離這一因素考慮在內(nèi)，并且針對不同環(huán)境拓撲的最佳巡邏策略進行了特征描述。以上方法的魯棒性不強，不夠有效解決復(fù)雜現(xiàn)實環(huán)境中的拓撲監(jiān)控問題，且不能應(yīng)對需要增加或者減少無人機數(shù)量的情況；在極端環(huán)境下，以上方法也無法解決多無人機之間不能互相通信的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一基于強化學(xué)習(xí)的多設(shè)備自適應(yīng)監(jiān)測方法，適用于區(qū)域監(jiān)控巡邏情景，實現(xiàn)不同復(fù)雜度的環(huán)境拓撲監(jiān)控問題，而且在同一場景中，還能夠適應(yīng)增加或者減少無人機數(shù)量的極端情況。