[發(fā)明專利]一種基于MADDPG的多無人機(jī)任務(wù)決策方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010691504.8
• 申請(qǐng)日: 2020-07-17
• 公開（公告）號(hào): CN111880563B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 李波;甘志剛;越凱強(qiáng);高曉光;萬開方;高佩忻
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G05D1/10
• 分類號(hào): G05D1/10
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

本發(fā)明公開了一種基于MADDPG的多無人機(jī)任務(wù)決策方法，將MADDPG算法引入到多無人機(jī)任務(wù)分配當(dāng)中，首先根據(jù)多無人機(jī)實(shí)際作戰(zhàn)環(huán)境，建立深度強(qiáng)化學(xué)習(xí)所需的二維作戰(zhàn)環(huán)境模型，其次，建立多無人機(jī)作戰(zhàn)環(huán)境中的防空導(dǎo)彈等多種威脅的數(shù)學(xué)描述，最后將多無人機(jī)的航跡、距離和戰(zhàn)場(chǎng)的防御威脅作為約束條件，進(jìn)行學(xué)習(xí)訓(xùn)練，進(jìn)而得到多無人機(jī)任務(wù)決策模型。本方法采用了經(jīng)驗(yàn)池和雙網(wǎng)絡(luò)結(jié)構(gòu)，使得整個(gè)網(wǎng)絡(luò)的運(yùn)算與收斂速度大大提升，在無人機(jī)高速飛行的過程中，可以更快的得到結(jié)果，并且可以實(shí)現(xiàn)多無人機(jī)自主決策的目的，在未知的作戰(zhàn)環(huán)境下也可以保證其任務(wù)決策的高效性。

技術(shù)領(lǐng)域

本發(fā)明屬于飛行控制領(lǐng)域，具體涉及一種多無人機(jī)任務(wù)決策的方法。

背景技術(shù)

對(duì)于各國軍方來說，無人機(jī)將會(huì)成為未來戰(zhàn)場(chǎng)必不可少的武器之一。無人機(jī)很可能成為多個(gè)作戰(zhàn)平臺(tái)的攻擊和反擊對(duì)象，成為最普遍和最致命的空戰(zhàn)“利劍”。現(xiàn)有的多無人機(jī)系統(tǒng)，雖然能完成一些復(fù)雜的作戰(zhàn)任務(wù)，但是作為一個(gè)龐大的機(jī)群協(xié)作系統(tǒng)，一般傳統(tǒng)的多無人機(jī)任務(wù)決策是在戰(zhàn)場(chǎng)環(huán)境已知的條件下進(jìn)行的，一旦預(yù)先設(shè)定的作戰(zhàn)計(jì)劃不能滿足實(shí)際作戰(zhàn)環(huán)境，就很難及時(shí)做出應(yīng)對(duì)處理方案。因此，尋找一種能夠在未知作戰(zhàn)環(huán)境下多無人機(jī)快速高效進(jìn)行任務(wù)分配的方法，對(duì)未來無人機(jī)作戰(zhàn)顯得尤為重要。

目前針對(duì)無人機(jī)系統(tǒng)的任務(wù)決策問題，主要的研究方法是通過地面指揮中心對(duì)作戰(zhàn)任務(wù)進(jìn)行劃分，先利用無人機(jī)對(duì)目標(biāo)區(qū)域進(jìn)行搜索與探測(cè)，收集衛(wèi)星圖像信息和目標(biāo)信息等情報(bào)，通過分析得到作戰(zhàn)區(qū)域的整體態(tài)勢(shì)情況。然后地面指揮中心使用隨機(jī)路徑圖算法、蟻群算法、A*算法等方法對(duì)任務(wù)分配和路徑規(guī)劃等一系列問題進(jìn)行求解，再制定整個(gè)作戰(zhàn)流程與細(xì)節(jié)，最后下達(dá)作戰(zhàn)任務(wù)，選擇符合作戰(zhàn)要求的無人機(jī)組成作戰(zhàn)編隊(duì)，將詳細(xì)的作戰(zhàn)任務(wù)分配給多無人機(jī)系統(tǒng)中的每個(gè)無人機(jī)。多個(gè)無人機(jī)根據(jù)預(yù)先加載的作戰(zhàn)路徑，按照預(yù)規(guī)劃航路前往作戰(zhàn)區(qū)域執(zhí)行任務(wù)，在一系列的“觀察-判斷-決策-分配-執(zhí)行”動(dòng)作中完成整個(gè)作戰(zhàn)任務(wù)。這種傳統(tǒng)的解決方法，面對(duì)相對(duì)穩(wěn)定的作戰(zhàn)環(huán)境雖然有效性與可靠度較高，但是在戰(zhàn)場(chǎng)未知的環(huán)境下很難發(fā)揮其原本的作用，僅僅依靠傳統(tǒng)的方法來進(jìn)行多無人機(jī)的任務(wù)分配是遠(yuǎn)遠(yuǎn)不夠的。

當(dāng)環(huán)境變化時(shí)，還需要重新制定作戰(zhàn)計(jì)劃，再重新發(fā)送作戰(zhàn)指令到每架無人機(jī)，一旦出現(xiàn)不穩(wěn)定因素，就會(huì)大大影響整個(gè)作戰(zhàn)任務(wù)的執(zhí)行，很大幾率導(dǎo)致任務(wù)失敗。為此，需要提高無人機(jī)群的自行調(diào)整能力和自主決策能力，使得無人機(jī)群在多變的作戰(zhàn)環(huán)境當(dāng)中，能夠具有一定的“自我意識(shí)”以迅速適應(yīng)戰(zhàn)場(chǎng)狀況和調(diào)整自我行動(dòng)。

深度強(qiáng)化學(xué)習(xí)算法在解決無人機(jī)自主決策的領(lǐng)域發(fā)揮了重要的作用，現(xiàn)有的研究成果將傳統(tǒng)的深度強(qiáng)化學(xué)習(xí)算法引入到無人機(jī)的航跡規(guī)劃、自主避障等問題當(dāng)中并取得了可喜的成果。但是在多無人機(jī)的環(huán)境下，傳統(tǒng)強(qiáng)化學(xué)習(xí)方法很難發(fā)揮作用，因?yàn)樵诙酂o人機(jī)環(huán)境中，每架無人機(jī)都是不斷變化，環(huán)境也不再穩(wěn)定，并且對(duì)于傳統(tǒng)強(qiáng)化學(xué)習(xí)算法中的策略梯度方法來說，隨著無人機(jī)數(shù)量增加，環(huán)境復(fù)雜度也增加，這就導(dǎo)致通過采樣來估計(jì)梯度的優(yōu)化方式，方差急劇增加，難以計(jì)算得到最終結(jié)果。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于MADDPG的多無人機(jī)任務(wù)決策方法，將MADDPG算法引入到多無人機(jī)任務(wù)分配當(dāng)中，首先根據(jù)多無人機(jī)實(shí)際作戰(zhàn)環(huán)境，建立深度強(qiáng)化學(xué)習(xí)所需的二維作戰(zhàn)環(huán)境模型，其次，建立多無人機(jī)作戰(zhàn)環(huán)境中的防空導(dǎo)彈等多種威脅的數(shù)學(xué)描述，最后將多無人機(jī)的航跡、距離和戰(zhàn)場(chǎng)的防御威脅作為約束條件，進(jìn)行學(xué)習(xí)訓(xùn)練，進(jìn)而得到多無人機(jī)任務(wù)決策模型。本發(fā)明使用基于MADDPG的強(qiáng)化學(xué)習(xí)算法，采用集中式學(xué)習(xí)和分布式應(yīng)用的原理，允許在學(xué)習(xí)時(shí)使用一些額外的信息(即全局信息)，但是在應(yīng)用決策的時(shí)候只使用局部信息，能夠使多無人機(jī)在戰(zhàn)場(chǎng)環(huán)境未知的前提下，進(jìn)行高效的任務(wù)決策，同時(shí)，該方法還采用了經(jīng)驗(yàn)池和雙網(wǎng)絡(luò)結(jié)構(gòu)，使得整個(gè)網(wǎng)絡(luò)的運(yùn)算與收斂速度大大提升，在無人機(jī)高速飛行的過程中，可以更快的得到結(jié)果，并且可以實(shí)現(xiàn)多無人機(jī)自主決策的目的，在未知的作戰(zhàn)環(huán)境下也可以保證其任務(wù)決策的高效性。

為達(dá)到上述目的，本發(fā)明提出了一種基于MADDPG的多無人機(jī)任務(wù)決策方法，包括以下步驟：