[發明專利]基于深度強化學習的無人機感知與避障一體化方法及設備

在審

• 申請號: 202010320177.5
• 申請日: 2020-04-22
• 公開（公告）號: CN111487992A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 蔡志浩;王隆洪;趙江;王英勛
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 陳磊;張楨

本發明的實施方式提供一種基于深度確定性策略梯度的無人機感知與避障控制一體化方法，該方法包括：設計深度確定性策略梯度神經網絡；設計訓練所需的獎勵；在仿真環境中搭建無人機避障的場景；及結合仿真環境進行網絡的訓練。

技術領域

本發明涉及無人機自主控制領域，更具體地，涉及一種基于深度確定性策略梯度的無人機感知與避障控制一體化方法及設備。

背景技術

當前針對無人機自主避障控制問題，主要是傳統的航跡規化方法進行避障。例如快速擴展隨機樹(Rapidly-exploring Random Tree,簡稱為RRT)和人工勢場算法等，但傳統方法有其缺點，RRT算法有收斂速度慢、航跡曲折，人工勢場法有容易陷入局部極小值和振蕩等問題。另外，或是通過圖像信息直接輸出不連續的方向指令。例如有些方法基于深度Q網絡(Deep Q-Network，簡稱DQN)的層次結構，這些層次Q網絡被用作不同階段中導航的高端控制策略，包括前后左右下降等控制指令。這種方法精確度較低。

發明內容

本發明解決完全基于圖像的無人機自主避障控制問題：將處理過的無人機機載相機得到的圖像作為輸入，經過深度確定性策略梯度網絡處理后得到無人機三軸方向的速度，以此實現無人機的感知與避障控制一體化。

本發明的實施方式提供一種無人機感知與避障控制一體化方法，通過輸入的圖像直接得到連續的無人機控制指令，提高無人機避障的自主性和效率。

為實現上述目的，本發明實例提供了如下的技術方案：

根據本發明的一個實施方式的一種基于深度確定性策略梯度的無人機感知與避障控制一體化方法，包括以下步驟：設計深度確定性策略梯度神經網絡；設計訓練所需的獎勵；在仿真環境中搭建無人機避障的場景；結合仿真環境進行網絡的訓練。

根據本發明的另一個實施方式提供的基于深度確定性策略梯度的無人機感知與避障控制一體化方法，設計深度確定性策略梯度神經網絡的步驟可包括:設計行動者網絡，該行動者網絡接收當前的圖像作為輸入且輸出無人機在x,y,z三軸方向的速度。

根據本發明的另一個實施方式提供的基于深度確定性策略梯度的無人機感知與避障控制一體化方法，行動者網絡包括三層卷積層和三層全連接層。

根據本發明的另一個實施方式提供的基于深度確定性策略梯度的無人機感知與避障控制一體化方法，設計深度確定性策略梯度神經網絡的步驟包括:設計評論家網絡，該評論家網絡接收當前的圖像和當前的動作值作為輸入且輸出Q值。

根據本發明的另一個實施方式提供的基于深度確定性策略梯度的無人機感知與避障控制一體化方法，設計訓練所需的獎勵步驟包括通過以下無人機避障軌跡規劃的端到端獎懲函數實現：

其中，Δs為無人機到目標點的距離，Δd為無人機偏離原定軌跡的距離，b，m，n均為常數。

根據本發明的另一個實施方式提供的一種設備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其中所述處理器運行所述計算機程序時執行以上所述的基于深度確定性策略梯度的無人機感知與避障控制一體化方法。

本發明的實施方式所提供的無人機感知與避障控制一體化方法和設備中，深度確定性策略梯度網絡直接將機載照相機得到的圖片信息轉換為無人機避障所需的連續控制指令。省去了傳統方法中的狀態估計和路徑規劃模塊，在不提前知道障礙物位置及狀態的情況下進行自主避障，能夠提高無人機的自主性和避障的效率。

附圖說明

通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的，而并不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。通過參考附圖可更好地理解本發明。