[發(fā)明專利]無人機(jī)自適應(yīng)多目標(biāo)跟蹤的實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201810359284.1
• 申請日: 2018-04-20
• 公開（公告）號: CN108919640B
• 公開（公告）日: 2020-04-03
• 發(fā)明（設(shè)計(jì)）人: 李波;馬浩;高曉光;萬開方;符小衛(wèi)
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 金鳳

本發(fā)明提供了一種無人機(jī)自適應(yīng)多目標(biāo)跟蹤的實(shí)現(xiàn)方法，涉及飛行控制領(lǐng)域，本發(fā)明通過計(jì)算無人機(jī)的狀態(tài)空間和運(yùn)動方程，求解目標(biāo)函數(shù)，循環(huán)計(jì)算即可得到整個(gè)時(shí)間域上的無人機(jī)飛行狀態(tài)和跟蹤軌跡。本發(fā)明的有益效果在于本發(fā)明是基于強(qiáng)化學(xué)習(xí)研究無人機(jī)自適應(yīng)目標(biāo)跟蹤，構(gòu)建POMDP框架，選取信念優(yōu)化方法求解POMDP問題，使得目標(biāo)函數(shù)容易求解，且計(jì)算量小，通過仿真也驗(yàn)證了該方法的收斂性。而且從仿真結(jié)果可以看出無人機(jī)的飛行軌跡平滑，適應(yīng)度高，能很好的自適應(yīng)跟蹤目標(biāo)。

技術(shù)領(lǐng)域

本發(fā)明涉及飛行控制領(lǐng)域，尤其是一種無人機(jī)的跟蹤方法。

背景技術(shù)

由于當(dāng)今飛行環(huán)境復(fù)雜而且信息難以獲取，無人機(jī)僅依靠地面指揮中心提拱的信息進(jìn)行跟蹤已經(jīng)難以成事，因此如何使得無人機(jī)能自發(fā)的適應(yīng)環(huán)境并且高效、精確的跟蹤目標(biāo)就顯得尤為重要。強(qiáng)化學(xué)習(xí)(Reinforcement Learning)是一種智能體跟環(huán)境不斷交互且學(xué)習(xí)方式跟策略有關(guān)的學(xué)習(xí)，強(qiáng)化學(xué)習(xí)的模型如圖1所示。強(qiáng)化學(xué)習(xí)的核心在于使收益長期最大化。無人機(jī)自適應(yīng)跟蹤問題的核心在于如何選取下一步的最佳飛行動作，所以無人機(jī)跟蹤問題可以看成是強(qiáng)化學(xué)習(xí)問題，因此可以建立無人機(jī)自適應(yīng)多目標(biāo)跟蹤控制的強(qiáng)化學(xué)習(xí)框架，如圖2所示。由于強(qiáng)化學(xué)習(xí)決策出來的每一個(gè)狀態(tài)-行為對都是離散值，且具有馬爾科夫性質(zhì)，因此解決此類滿足馬爾科夫性質(zhì)的強(qiáng)化學(xué)習(xí)問題，其實(shí)就是解決部分可觀馬爾科夫決策過程(POMDP)問題。

現(xiàn)有解決POMDP問題的方法有啟發(fā)式ECTG、參數(shù)近似、policy rollout、hindsightoptimization、foresight optimization等。但是這些方法在解決目標(biāo)函數(shù)優(yōu)化方面面臨計(jì)算量大、容易發(fā)散的問題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明使用信念狀態(tài)優(yōu)化方法(Belief-StateOptimization，BO)，將復(fù)雜的問題通過近似求解目標(biāo)函數(shù)，相比較以上近似方法，它的優(yōu)點(diǎn)在于計(jì)算復(fù)雜度較低、計(jì)算效率高，計(jì)算收斂。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案的詳細(xì)步驟如下：

步驟1：狀態(tài)空間

狀態(tài)空間分為系統(tǒng)狀態(tài)和信念狀態(tài)，其中系統(tǒng)狀態(tài)包含無人機(jī)狀態(tài)、目標(biāo)狀態(tài)和跟蹤狀態(tài)，在t時(shí)刻系統(tǒng)狀態(tài)表示為χ_t＝(s_t,ζ_t,ξ_t,P_t)，其中s_t為無人機(jī)的狀態(tài)，ζ_t為目標(biāo)的狀態(tài)，(ξ_t,P_t)為跟蹤狀態(tài)，具體為：

無人機(jī)的狀態(tài)：其中，表示無人機(jī)的位置，表示無人機(jī)的速度，θ_t表示無人機(jī)的航向角；

第i個(gè)目標(biāo)的狀態(tài)：其中,i＝1,2,...,n，n為目標(biāo)的數(shù)量，表示目標(biāo)的位置，表示目標(biāo)在x,y軸上的速度分量；

對于第i個(gè)目標(biāo)的跟蹤狀態(tài)：為濾波后目標(biāo)狀態(tài)估計(jì)值，為濾波后目標(biāo)狀態(tài)的估計(jì)協(xié)方差；

信念狀態(tài)指的是系統(tǒng)整體狀態(tài)的后驗(yàn)分布，在t時(shí)刻為：其中，無人機(jī)的信念狀態(tài)為跟蹤信念狀態(tài)為目標(biāo)信念狀態(tài)為

步驟2：無人機(jī)運(yùn)動方程

無人機(jī)在t時(shí)刻的狀態(tài)為行動量u_t＝(a_t,φ_t)，a_t為加速度，φ_t為轉(zhuǎn)向角，無人機(jī)的運(yùn)動方程如下：

θ_t+1＝θ_t+(gTtan(φ_t)/v_t) (2-4)