[發(fā)明專利]基于雙神經(jīng)網(wǎng)絡強化學習的自主水下航行器路徑規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 202110253524.1
• 申請日: 2021-03-09
• 公開（公告）號: CN113064422B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設計）人: 黃浩乾;李光輝;韓亦鳴;王冰
• 申請（專利權(quán)）人: 河海大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于雙神經(jīng)網(wǎng)絡強化學習的自主水下航行器路徑規(guī)劃方法，其特征在于，包括以下步驟：

(1)對Q-learning學習算法中存在的需要存儲空間大和查找時間長的問題進行優(yōu)化處理；

(2)在Q-learning學習算法的基礎上融入目標網(wǎng)絡和基于“優(yōu)先級”的記憶池經(jīng)驗回放技術(shù)得到雙神經(jīng)網(wǎng)絡強化學習算法，并構(gòu)建基于雙神經(jīng)網(wǎng)絡強化學習算法的AUV智能路徑規(guī)劃框架；

(3)量化處理AUV的環(huán)境狀態(tài)信息，將其與DQN算法相結(jié)合得到神經(jīng)網(wǎng)絡結(jié)構(gòu)，并判斷AUV運動方向與目標點位置關(guān)系，得到AUV智能規(guī)劃路徑的決策模型；

Q-learning學習算法將AUV當前狀態(tài)s_t和執(zhí)行動作a_t構(gòu)成一張Q值表，命名為QNet，用于存放AUV每一時刻的狀態(tài)和執(zhí)行動作；然后根據(jù)Q值表來選取能夠獲得最大收益的下一步動作a_t+1，在此基礎上優(yōu)化Q-learning學習算法就是根據(jù)AUV當前所處的環(huán)境信息去除Q值表中的無效動作，來減少Q(mào)值表所需的存儲空間和查找Q值表所需要的時間；

所述步驟(2)包括以下步驟：

(21)在優(yōu)化后的Q-learning學習算法的基礎上融入目標網(wǎng)絡構(gòu)成兩個淺層神經(jīng)網(wǎng)絡：

Q_t+1(s,a)＝Q_t(s,a；θ)+β(r+γmax Q_t(s_t+1,a_t+1；θ_t)-Q_t(s_t,a_t；θ)) (2)

其中，Q_t+1(s,a)為根據(jù)Q值更新公式得到的目標函數(shù)值；Q_t(s,a)為根據(jù)s_t和a_t擬合出的當前函數(shù)值；β為學習率；r為即時反饋值；γ為折價系數(shù)；a為在狀態(tài)s下AUV執(zhí)行的動作；

(22)對記憶池進行初始化，并且利用參數(shù)θ初始化QNet網(wǎng)絡，利用參數(shù)θ_t初始化目標網(wǎng)絡Aim Net；θ為QNet中函數(shù)值的向量表示；θ_t為Aim Net中函數(shù)值的向量表示；

(23)將AUV的狀態(tài)信息定義為其周圍障礙物信息加上其本身的姿態(tài)信息，初始化AUV開始狀態(tài)信息為s₀,初始化AUV此后每一時刻的當前狀態(tài)信息為s_t，時間為t；

(24)根據(jù)AUV當前狀態(tài)信息s_t選擇動作a_t：AUV的動作由QNet根據(jù)當前輸入狀態(tài)信息s_t下的預測值，選擇神經(jīng)網(wǎng)絡輸出層最大的Q值對應的動作a_t作為最優(yōu)動作；

(25)執(zhí)行動作a_t后，AUV的狀態(tài)轉(zhuǎn)移到下一狀態(tài)信息s_t+1，并通過環(huán)境信息以及動作信息a_t和狀態(tài)信息s_t+1的反饋，獲得即時反饋值r_t；

(26)AUV在每次執(zhí)行動作之后都會得到一組樣本信息(s_t,a_t,r_t,s_t+1)，將樣本信息存放到記憶池中，然后構(gòu)造優(yōu)先級數(shù)組來存放樣本信息的優(yōu)先級和位置索引信息；其中s_t為當前時刻AUV的狀態(tài)；a_t為當前時刻狀態(tài)下AUV執(zhí)行的動作；s_t+1為執(zhí)行動作a_t后AUV的狀態(tài)；r_t為根據(jù)環(huán)境信息以及動作信息a_t和狀態(tài)信息s_t+1獲得的即時反饋值；

(27)獲得一定數(shù)目的樣本信息后，判斷記憶池中的樣本數(shù)量是否達到初始化權(quán)值θ，若達到θ則開始訓練模型，若沒達到則繼續(xù)收集樣本信息。