[發明專利]一種基于改進的深度強化學習的路徑規劃方法

有效

• 申請號: 202011311727.3
• 申請日: 2020-11-20
• 公開（公告）號: CN112362066B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 楊寧;趙可賀;郭雷
• 申請（專利權）人: 西北工業大學
• 主分類號: G01C21/20
• 分類號: G01C21/20
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 王鮮凱

1.一種基于改進的深度強化學習的路徑規劃方法，其特征在于步驟如下：

步驟1、對傳統深度Q網絡在策略和網絡結構上進行優化：

策略的改進：對下述ε-greedy策略進行改進，

μ是每輪隨機生成的，大小在0和1之間，ε表示探索率，表示隨機動作；

(1)經驗深度的策略：以當前點為中心的八個鄰域的矩形，并評估選擇一個特定動作時所獲得的經驗珍貴程度；價值估計網絡E的t時刻損失函數為：

L_t(θ_t)＝E_s,a{((1+|r_t|)-e(s_t,a_t；θ_t^E))²} (2)

根據獎勵功能的稀疏形式，將e(s_t,a_t；θ_t^E)轉換為：

價值估計網絡E在Q網絡訓練之前的預訓練階段完成訓練，然后選擇動作；

所述獎勵功能的稀疏形式為：

給r^reach正值來鼓勵模型找到目標，給r^crash負值來懲罰碰撞行為；隨著當前點和目標點距離的增加，正常動作所對應的獎勵值會減小，并且γ需要小于1來促使智能體到達目標點；

(2)經驗廣度的策略：模型創建并行結構處理訓練過程中的路徑游蕩現象，模型選擇動作最大化

提取在游蕩點ex_t-1＝(s_t-1,a_t-1,r_t-1,s_t)和ex_t＝(s_t,a_t,r_t,s_t+1)前兩步和當前步的經驗，模型通過貪婪隨機策略與環境互動，并判斷在更新策略后網絡權重是否能夠跳出游蕩點；如果模型能夠識別該點，或者步數達到了一張地圖預設的最大探索步驟，那么結構結束；如果沒有，它將繼續增加游蕩點經驗；

(3)避免不正確估計的策略：在每個迭代過程中設置智能體所能移動的最大步數：

termial指的是到達目標點或障礙物時；

(4)網絡結構的改進：價值評估網絡由卷積層和全連接層組成，用relu激活函數減少梯度消失并加快訓練速度，Q網絡包括預處理層、密集塊和全連接層，為了訓練模型，計算損失和均方誤差，然后更新網絡參數；

步驟2：將步驟1的策略和網絡結構生成Improve-DQN算法，用于路徑規劃，規劃時輸入需要規劃的地形圖，起始點坐標值，終點坐標值以及障礙點坐標值。