[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)感知與避障一體化方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010320177.5
• 申請日: 2020-04-22
• 公開（公告）號: CN111487992A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 蔡志浩;王隆洪;趙江;王英勛
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 北京航智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 陳磊;張楨

1.一種基于深度確定性策略梯度的無人機(jī)感知與避障控制一體化方法，該方法包括：

設(shè)計(jì)深度確定性策略梯度神經(jīng)網(wǎng)絡(luò)；

設(shè)計(jì)訓(xùn)練所需的獎(jiǎng)勵(lì)；

在仿真環(huán)境中搭建無人機(jī)避障的場景；及

結(jié)合仿真環(huán)境進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

2.如權(quán)利要求1所述的方法，其中所述設(shè)計(jì)深度確定性策略梯度神經(jīng)網(wǎng)絡(luò)的步驟包括:

設(shè)計(jì)行動(dòng)者網(wǎng)絡(luò)，該行動(dòng)者網(wǎng)絡(luò)接收當(dāng)前的圖像作為輸入且輸出無人機(jī)在x,y,z三軸方向的速度。

3.如權(quán)利要求2所述的方法，其中所述行動(dòng)者網(wǎng)絡(luò)包括三層卷積層和三層全連接層。

4.如權(quán)利要求1-3中任一項(xiàng)所述的方法，其中所述設(shè)計(jì)深度確定性策略梯度神經(jīng)網(wǎng)絡(luò)的步驟包括:

設(shè)計(jì)評論家網(wǎng)絡(luò)，該評論家網(wǎng)絡(luò)接收當(dāng)前的圖像和當(dāng)前的動(dòng)作值作為輸入且輸出Q值。

5.如權(quán)利要求1所述的方法，其中所述設(shè)計(jì)訓(xùn)練所需的獎(jiǎng)勵(lì)步驟包括通過以下無人機(jī)避障軌跡規(guī)劃的端到端獎(jiǎng)懲函數(shù)實(shí)現(xiàn)：

其中，△s為無人機(jī)到目標(biāo)點(diǎn)的距離，△d為無人機(jī)偏離原定軌跡的距離，b，m，n均為常數(shù)。

6.一種設(shè)備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器運(yùn)行所述計(jì)算機(jī)程序時(shí)執(zhí)行權(quán)利要求1-5中任一項(xiàng)所述的基于深度確定性策略梯度的無人機(jī)感知與避障控制一體化方法。