[發明專利]一種基于強化學習的無人平臺路徑規劃方法及裝置

在審

• 申請號: 202011638903.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112836852A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 吳宇航;查文中;孟祥瑞;李康
• 申請（專利權）人: 中國電子科技集團公司信息科學研究院
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/08
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種基于強化學習的無人平臺路徑規劃方法，其特征在于，包括：

建立路徑規劃的目標網絡和訓練網絡，所述目標網絡和訓練網絡均為深度神經網絡，且目標網絡與訓練網絡具有相同的結構和初始參數值；

根據目標網絡和訓練網絡構建目標函數；

采用隨機離散策略生成多組訓練數據；

利用訓練數據以及目標函數修正目標網絡和訓練網絡的參數值；

根據修正后的訓練網絡生成路徑規劃模型；

獲取無人平臺的當前位置和目標位置；

利用路徑規劃模型獲得無人平臺從當前位置向目標位置運行的路徑規劃數據。

2.根據權利要求1所述的方法，其特征在于，所述根據目標網絡和訓練網絡構建目標函數，包括：

按照以下公式建立目標函數：

Loss＝(r+γmaxQ(a′)-Q(a_i))²

其中，maxQ(a′)為以目標網絡為計算基礎，所有行動方向對應總體收益中的最大值；

Q(a_i)為以訓練網絡為計算基礎，行動方向為a_i時的總體收益；

γ為預設的常數；

r為無人平臺本次行動獲得的收益；

Loss為目標函數的函數值。

3.根據權利要求2所述的方法，其特征在于，所述無人平臺本次行動獲得的收益r由以下公式計算得到：

其中，x_i為無人平臺當前位置的橫坐標；

y_i為當前位置的縱坐標；

x_goal為目標位置的橫坐標；

y_goal為目標位置的縱坐標。

4.根據權利要求3所述的方法，其特征在于，所述采用隨機離散策略生成多組訓練數據，包括：

將無人平臺所在位置的地圖進行網格化處理，其中，每個網格對應一個坐標(x，y)；

隨機設定無人平臺的初始位置(x₀，y₀)和目標位置(x_goa1，y_goal)；

根據無人平臺由初始位置(x₀，y₀)向目標位置(x_goal，y_goal)移動時所經過網格的坐標，獲取訓練數據(s，a_i，r，s′)，所述訓練數據為無人平臺移動到相鄰網格時產生的數據，其中，s為當前無人平臺的狀態：s＝[x_i，y_i，x_goal，y_goal]，i為無人平臺移動的次數；a_i為隨機選擇出的行動方向；r為無人平臺按照行動方向a_i行動后的收益；s′為無人平臺按照行動方向a_i行動后的狀態s′＝[x′_i，y′_i，x_goal，y_goal]。