[發明專利]基于S面控制和TD3的AUV路徑跟蹤方法及系統

有效

• 申請號: 202110239801.3
• 申請日: 2021-03-04
• 公開（公告）號: CN113050420B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 李沂濱;李茹;繆旭弘;魏征;尤岳;周廣禮;賈磊;莊英豪;宋艷
• 申請（專利權）人: 山東大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆偉姣

本發明公開一種基于S面控制和TD3的AUV路徑跟蹤方法及系統，包括：根據AUV運行狀態和執行動作基于TD3算法構建AUV路徑跟蹤仿真模型；在控制時間步長內，通過S面控制和TD3算法控制得到AUV執行動作向量，以此獲取每個控制時間步的AUV運行狀態轉移向量，并將其分別存入S面控制經驗緩存空間庫和交互控制經驗緩存空間庫；根據S面控制經驗緩存空間庫和交互控制經驗緩存空間庫對AUV路徑跟蹤仿真模型進行訓練，以訓練后的AUV路徑跟蹤仿真模型根據當前運行狀態輸出執行動作，以此控制AUV的路徑跟蹤。解決AUV路徑跟蹤方法中存在的抗干擾能力弱、自適應能力差、收斂效果差的問題。

技術領域

本發明涉及AUV路徑跟蹤技術領域，特別是涉及一種基于S面控制和TD3的AUV路徑跟蹤方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

自主水下航行器(Autonomous underwater vehicle,AUV)配備一系列化學和生物傳感器，可以在無人干預的情況下，在海洋環境中穩定地運行，執行任務。AUV由于成本低、機動性好、控制靈活等優點，在海洋環境監測、資源勘探、油氣工程、軍事領海巡邏等領域得到了廣泛的應用。

當AUV在執行海底管道檢測維護以及領海巡邏等任務時，對AUV在復雜多變的海洋環境下的跟蹤能力提出了更高的要求。目前來說大多數AUV采用傳統控制算法，如PID控制、模糊控制等。傳統的控制算法結構簡單，具有易于實現、可靠性高的優點；然而，PID控制、模糊邏輯控制等的參數需要事先設定，考慮到海洋環境的復雜性和不確定性，AUV在海洋環境中執行路徑跟蹤任務時將受到各種干擾因素的影響，如海洋洋流或由于AUV自身負載、重心、浮心的變化等，需要對PID參數進行重新調整，其抗干擾能力弱，自適應能力差，很難適應復雜多變的海洋環境。

目前深度強化學習(Deep Reinforcement Learning，DRL)將深度學習和強化學習結合，形成端對端的感知與控制系統，目前在機器人控制、優化調度和游戲博弈等領域得到廣泛的應用，并取得很好的效果。然而，深度強化學習中的神經網絡在訓練更新參數時需要大量的訓練數據，應用到AUV運動控制領域時，在訓練前期需要進行大量的探索才能找到正確的策略；并且，在訓練初期存在很大的隨機性，訓練的收斂速度極慢甚至難以收斂；雖然有許多研究者使用專家數據來加速DRL的訓練過程，然而大量專家數據的獲取耗時耗力，并且泛化能力較差。

發明內容

為了解決上述問題，本發明提出了一種基于S面控制和TD3的AUV路徑跟蹤方法及系統，針對AUV路徑跟蹤方法中存在的抗干擾能力弱、自適應能力差、收斂效果差的問題，本發明基于S面控制方法和基于深度強化學習的雙延遲深度確定性策略梯度(Twin DelayedDeep Deterministic policy gradient algorithm，TD3)算法的結合，完成AUV的路徑跟蹤任務。

為了實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供一種基于S面控制和TD3的AUV路徑跟蹤方法，包括：

根據AUV運行狀態和執行動作基于TD3算法構建AUV路徑跟蹤仿真模型；

在控制時間步長內，通過S面控制和TD3算法控制得到AUV執行動作向量，以此獲取每個控制時間步的AUV運行狀態轉移向量，并將其分別存入S面控制經驗緩存空間庫和交互控制經驗緩存空間庫；

根據S面控制經驗緩存空間庫和交互控制經驗緩存空間庫對AUV路徑跟蹤仿真模型進行訓練，以訓練后的AUV路徑跟蹤仿真模型根據當前運行狀態輸出執行動作，以此控制AUV的路徑跟蹤。

第二方面，本發明提供一種基于S面控制和TD3的AUV路徑跟蹤系統，包括：

仿真模塊，被配置為根據AUV運行狀態和執行動作基于TD3算法構建AUV路徑跟蹤仿真模型；