[發明專利]一種基于強化學習的無人平臺路徑規劃方法及裝置

在審

• 申請號: 202011638903.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112836852A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 吳宇航;查文中;孟祥瑞;李康
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/08
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本發明實施例公開了一種本發明實施例提供的基于強化學習的無人平臺路徑規劃方法及裝置，采用傳統的全連接深度神經網絡，無需地圖先驗知識，因此，可以適應完全未知的環境。并且，通與環境的不斷交互學習，強化學習得到環境信息，使無人平臺可以在未知環境中實現路徑規劃。同時，本發明實施例根據隨機離散策略生成訓練數據，利用該數據可訓練深度神經網絡，使無人平臺由所在區域的任意初始位置出發到任意目標位置。

技術領域

本發明涉及無人平臺技術領域，特別是涉及一種基于強化學習的無人平臺路徑規劃方法及裝置。

背景技術

近年來，隨著人工智能和無線傳輸技術的迅速發展，無人應用逐漸在眾多領域中得到重視，其中，無人汽車、無人飛機和無人探測器等無人平臺，越來越多地應用于軍事、工業交通以及探測等領域。

路徑規劃是無人平臺實現自主控制的重要前提條件。通過路徑規劃，無人平臺可在設定區域內找到一條從起點到終點的無碰撞安全路徑。目前，無人平臺的路徑規劃方法主要包括以下幾個方面：1)基于馬爾可夫過程的Q學習(Q-learning)算法；2)基于模擬退火的Q學習算法(SA-Q)；3)傳統的控制率方法；4)基于競爭網絡結構的改進深度雙Q網絡方法。

但是，上述路徑規劃的方法均具有不同程度的缺陷，其中，Q-learning算法的路徑規劃方法，對于高維狀態的空間擬合效果較差，并且該方法需要具備先驗知識，不能實現對未知環境的路徑規劃；基于模擬退火的Q學習算法，同樣對于高維狀態空間擬合效果較差，且缺乏起點到終點的中間狀態，不利于模型學習；控制率方法應用范圍受限，且該方法不具備學習功能，不能從環境中學習到路徑規劃的智能行為；改進深度雙Q網絡方法，需要具備環境的先驗知識，并不能應用于未知環境。因此，亟需一種能夠面向未知環境且可自主學習的路徑規劃方法。

發明內容

本發明實施例中提供了一種基于強化學習的無人平臺路徑規劃方法及裝置，以解決現有路徑規劃方法無法應用于未知環境，并且無法自主學習的問題。

為了解決上述技術問題，本發明實施例公開了如下技術方案：

一種基于強化學習的無人平臺路徑規劃方法，包括：

建立路徑規劃的目標網絡和訓練網絡，所述目標網絡和訓練網絡均為深度神經網絡，且目標網絡與訓練網絡具有相同的結構和初始參數值；

根據目標網絡和訓練網絡構建目標函數；

采用隨機離散策略生成多組訓練數據；

利用訓練數據以及目標函數修正目標網絡和訓練網絡的參數值；

根據修正后的訓練網絡生成路徑規劃模型；

獲取無人平臺的當前位置和目標位置；

利用路徑規劃模型獲得無人平臺從當前位置向目標位置運行的路徑規劃數據。

可選的，所述根據目標網絡和訓練網絡構建目標函數，包括：

按照以下公式建立目標函數：

Loss＝(r+γmaxQ(a')-Q(a_i))²

其中，maxQ(a')為以目標網絡為計算基礎，所有行動方向對應總體收益中的最大值；

Q(a_i)為以訓練網絡為計算基礎，行動方向為a_i時的總體收益；

γ為預設的常數；

r為無人平臺本次行動獲得的收益；

Loss為目標函數的函數值。

可選的，所述無人平臺本次行動獲得的收益r由以下公式計算得到：