[發明專利]一種基于深度強化學習的無人機偽路徑規劃的方法

有效

• 申請號: 201910948346.7
• 申請日: 2019-10-08
• 公開（公告）號: CN110673637B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 陳鯉文;周瑤;鄭日晶;張文吉
• 申請（專利權）人: 福建工程學院
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

本發明公開了一種基于深度強化學習的無人機偽路徑規劃的方法，首先在飛行地圖上劃分禁飛區域的邊界坐標和標記出無人機飛行任務的起點坐標和終點坐標位置；執行飛行任務前感知無人機當前環境狀態，利用深度強化學習算法，根據得到的Q函數值選擇當前環境下的偏轉角度和飛行動作；無人機根據在飛行過程中不斷地接收來自地面基站發射設備給出飛行的位置數據并與環境進行交互得到的獎勵回報更新Q函數；飛行過程中將禁飛區域作為虛擬障礙物，判斷無人機是否按照預設航線飛行；若接近禁飛區域邊緣，則通過獎勵函數引導無人機規劃偽航行路徑，避開禁飛區域；本發明實現了對未知環境下的無人機的偽路徑規劃，提高無人機飛行的智能化，安全化。

技術領域

本發明屬于機器學習技術領域，尤其涉及一種基于深度強化學習的無人機偽路徑規劃的方法。

背景技術

隨著計算水平和人工智能領域的長足進步，無人機應用的領域越來越多，尤其在軍事航空領域的應用也越來越廣泛，無人機執行任務的種類也越來越復雜，在軍事偵察領域和航空運輸領域發揮了重要的作用。無人機航跡規劃智能化的要求也越來越高，在無人機執行特殊任務時，按照規定要求從起點到終點的飛行過程中，無人機還要避開正常的民航飛行區域和雷達監測區域，以免對民航飛機的飛行和雷達監測造成干擾。為了更好的服務于各個領域的應用，無人機偽路徑規劃的研究成為當前無人機航跡規劃的研究熱點和難點。

隨著人工智能技術的進步，近年來基于深度神經網絡和深度強化學習的智能體控制方法進入大眾視野。強化學習是機器學習的重要分支之一，它通過環境建模，對智能體的每一個動作進行反饋，通過設置積累獎勵的目標函數，最大化一個智能體在當前狀態所能取得的未來期望收獲，來輔助智能體在每一個狀態采取更明智的行為和動作。深度強化學習是一種利用神經網絡優化智能體策略的算法，它通過神經網絡存儲參數的功能，消除了傳統學習方法諸如：時序差分，現實策略差分算法中的維數災難問題，為實時計算提供了思路。

在解決實際求解無人機航跡路徑規劃的過程中，根據不同的任務，地形環境的復雜程度的不同，選擇符合航跡規劃的智能算法，現有的算法在進行航跡規劃時按照無人機實時的飛行路徑和避障進行規劃航行，但在實際情況中，空域中一些禁飛區域為不可檢測的隱形障礙物，在無人機飛行的過程中很容易誤入禁區飛行，造成其他空域的飛行危險。

發明內容

本發明的目的在于克服現有無人機航跡規劃的一般思維，提供一種基于深度強化學習的無人機偽路徑規劃的方法。本發明針對無人機避開禁區飛行規劃出偽航跡，在無人機實際規劃的航線和飛行禁區相沖突時，利用偽航跡引導無人機避開飛行禁區，保證空域內無人機的飛行安全和其他區域的正常運行。

本發明所采用的技術方案是：一種基于深度強化學習的無人機偽路徑規劃的方法，其特征在于，包括以下步驟：

步驟1：在飛行地圖上劃分禁飛區域的邊界坐標，并標記出無人機飛行的起點和終點位置坐標；

步驟2：執行飛行任務前感知無人機當前環境狀態，包括低、高空氣候數據，無人機飛行高度，無人機飛行位置坐標；基于當前環境狀態信息，利用深度強化學習算法，根據得到的Q函數值選擇當前環境下的飛行偏轉角度和動作；無人機根據在飛行過程中不斷地接收來自地面基站發射設備給出飛行的位置數據并與環境進行交互得到的獎勵回報更新Q函數；

步驟3：飛行過程中將禁飛區域作為虛擬障礙物，判斷無人機是否按照正常的航線飛行；

若遠離禁飛區，無人機繼續與環境交互規劃路徑，執行步驟2；

若接近禁飛區域邊緣，則通過深度強化學習的獎勵函數引導無人機規劃偽航行路線，避開禁飛區域；

步驟4：若無人機到達終點，則結束飛行；否則繼續執行步驟2。

本發明的優點在于：

1.本發明能夠在復雜的環境下實現無人機的路徑規劃，從而使得無人機能夠高效地飛行到目標位置，完成后續的任務。