[發明專利]基于S面控制和TD3的AUV路徑跟蹤方法及系統

有效

• 申請號: 202110239801.3
• 申請日: 2021-03-04
• 公開（公告）號: CN113050420B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 李沂濱;李茹;繆旭弘;魏征;尤岳;周廣禮;賈磊;莊英豪;宋艷
• 申請（專利權）人: 山東大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆偉姣

1.一種基于S面控制和TD3的AUV路徑跟蹤方法，其特征在于，包括：

根據AUV運行狀態和執行動作基于TD3算法構建AUV路徑跟蹤仿真模型；

在控制時間步長內，通過S面控制和TD3算法控制得到AUV執行動作向量，以此獲取每個控制時間步的AUV運行狀態轉移向量，并將其分別存入S面控制經驗緩存空間庫和交互控制經驗緩存空間庫；

所述S面控制根據歸一化處理后的偏差和偏差變化率，得到AUV執行動作向量，以此驅動AUV艉部推進器和水平舵動作，得到執行動作后的獎勵值和運行狀態，并將其存入S面控制經驗緩存空間庫；

所述TD3算法控制根據AUV初始運行狀態采用actor網絡得到AUV執行動作向量，根據AUV執行動作向量得到AUV新運行狀態和獎勵值，并將其存入交互控制經驗緩存空間庫；

根據S面控制經驗緩存空間庫和交互控制經驗緩存空間庫對AUV路徑跟蹤仿真模型進行訓練，以訓練后的AUV路徑跟蹤仿真模型根據當前運行狀態輸出執行動作，以此控制AUV的路徑跟蹤。

2.如權利要求1所述的一種基于S面控制和TD3的AUV路徑跟蹤方法，其特征在于，根據AUV運行狀態構建狀態空間，所述狀態空間包括：AUV距離當前路線的距離、當前艏向角度、AUV自身推進器的力和艉部水平舵的舵角。

3.如權利要求1所述的一種基于S面控制和TD3的AUV路徑跟蹤方法，其特征在于，根據執行動作構建動作空間，動作空間包括艉部推進器的力和艉部水平舵的舵角。

4.如權利要求1所述的一種基于S面控制和TD3的AUV路徑跟蹤方法，其特征在于，所述AUV路徑跟蹤仿真模型根據路徑跟蹤任務定義獎勵函數，所述獎勵函數包括：AUV與規定路徑距離減小時的靠近獎勵、AUV沿著路徑前進時的前進獎勵、航向角獎勵和時間懲罰項。

5.如權利要求1所述的一種基于S面控制和TD3的AUV路徑跟蹤方法，其特征在于，所述AUV路徑跟蹤仿真模型包括actor網絡、actor_target網絡、critic1網絡、critic2網絡、critic_taget1網絡和critic_taget2網絡；在S面控制經驗緩存空間庫和交互控制經驗緩存空間庫抽樣后計算當前actor網絡的價值Q，采用均方差損失函數通過梯度反向傳播更新各個網絡的參數。

6.一種基于S面控制和TD3的AUV路徑跟蹤系統，其特征在于，包括：

仿真模塊，被配置為根據AUV運行狀態和執行動作基于TD3算法構建AUV路徑跟蹤仿真模型；

經驗獲取模塊，被配置為在控制時間步長內，通過S面控制和TD3算法控制得到AUV執行動作向量，以此獲取每個控制時間步的AUV運行狀態轉移向量，并將其分別存入S面控制經驗緩存空間庫和交互控制經驗緩存空間庫；所述S面控制根據歸一化處理后的偏差和偏差變化率，得到AUV執行動作向量，以此驅動AUV艉部推進器和水平舵動作，得到執行動作后的獎勵值和運行狀態，并將其存入S面控制經驗緩存空間庫；所述TD3算法控制根據AUV初始運行狀態采用actor網絡得到AUV執行動作向量，根據AUV執行動作向量得到AUV新運行狀態和獎勵值，并將其存入交互控制經驗緩存空間庫；

路徑跟蹤模塊，被配置為根據S面控制經驗緩存空間庫和交互控制經驗緩存空間庫對AUV路徑跟蹤仿真模型進行訓練，以訓練后的AUV路徑跟蹤仿真模型根據當前運行狀態輸出執行動作，以此控制AUV的路徑跟蹤。

7.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-5任一項所述的方法。

8.一種計算機可讀存儲介質，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執行時，完成權利要求1-5任一項所述的方法。