[發明專利]一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法有效

申請號：	201910437021.2	申請日：	2019-05-23
公開（公告）號：	CN110134140B	公開（公告）日：	2022-01-11
發明（設計）人：	丁勇;楊勇;黃鑫城	申請（專利權）人：	南京航空航天大學
主分類號：	G05D1/10	分類號：	G05D1/10
代理公司：	南京蘇高專利商標事務所(普通合伙) 32204	代理人：	李淑靜
地址：	211106 江***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種環境信息未知連續狀態基于函數獎賞 dqn 無人機路徑規劃方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公布了一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法，所述方法首先建立無人機在環境中的狀態空間，該狀態空間為連續狀態空間，包含無人機的無窮多個狀態；其次將360度n等分成若干個角度作為無人機的航向角，建立無人機的動作空間；接著計算目標對無人機的勢函數獎賞和障礙物對無人機的勢函數獎賞，并對兩者進行疊加作為無人機總的勢函數獎賞；然后利用無人機總的勢函數獎賞對Q估計網絡進行路徑規劃訓練；最后利用訓練后的Q估計網絡對無人機進行環境信息未知連續狀態下路徑規劃。該方法主要解決了無人機在無環境模型下的路徑規劃問題，滿足了無人機在執行任務中對于所處環境狀態連續的要求，勢函數獎賞加快了無人機路徑規劃的速度，具有很好的適用性。

技術領域

本發明屬于無人機路徑規劃技術領域，特別是一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法。

技術背景

無人機路徑規劃是無人機領域長久不衰的熱點問題，是指無人機在一定的約束條件下，從起始點到目標點規劃出一條最優或次優的無碰撞路徑。隨著無人機面臨的實際環境日益復雜，規劃出一條實用有效的飛行路徑則是無人機順利完成各項任務的前提。所謂環境信息未知的路徑規劃是指無人機在規劃路徑之前無法預知環境的信息，環境信息的來源需要靠機載的感知系統獲取。由于無人機只能得到感知系統偵測范圍內的環境信息，可以盡可能地規劃出最優、次優路徑或滿足約束條件的路徑。常用的路徑規劃方法有人工勢場法、D*算法、導航向量場等，這些方法雖然能夠動態地規劃出無人機的飛行路徑，是一種局部路徑規劃方法，由于需要對具體環境建立模型，缺乏通用性。

近年來隨著人工智能技術的飛速發展，深度學習和機器學習在無人機領域展現出巨大潛力。強化學習、DQN(Deep Q-Learning Network)等方法無需對無人機所處的環境進行物理建模，只需通過無人機對所處環境不斷地進行離線訓練，就可以找出最優、次優或滿足限定條件的路徑。但目前這些方法中都假設無人機所處的環境為離散的柵格地圖，由于這種柵格地圖所能容納的狀態有限，要求環境為已知，且網絡收斂速度減慢，不能很好地滿足當今無人機執行任務過程中所處的環境未知且狀態連續的情況。

發明內容

本發明的目的在于提供一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法，該方法能夠使無人機在環境信息未知連續狀態下進行無環境模型路徑規劃，并且勢函數獎賞加快了無人機路徑規劃的速度，具有很好的適用性。

為實現上述目的，本發明采用以下技術方案：

一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法，包括：

步驟一，建立無人機在環境中的狀態空間S，該狀態空間為連續狀態空間，包含無人機的無窮個狀態。

步驟二，將360度n等分成若干個角度作為無人機的航向角，角度間隔為建立無人機的動作空間A。

步驟三，計算目標對無人機的勢函數獎賞Φ_a(s_k)和障礙物對無人機的勢函數獎賞Φ_o(s_k)，并對兩者進行疊加作為無人機總的勢函數獎賞Φ(s_k)。

步驟四，利用無人機總的勢函數獎賞Φ(s_k)對Q估計網絡進行路徑規劃訓練。

步驟五，利用訓練后的Q估計網絡對無人機進行環境信息未知連續狀態下路徑規劃。

進一步的優選方案，所述的一種環境信息未知連續狀態下基于勢函數獎賞DQN的無人機路徑規劃方法，其特征在于，所述步驟一中建立無人機在環境中的狀態空間S，具體為：

S＝(d_a，φ_a，d_o，φ_o) (7)

下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。