[發明專利]基于自適應動態規劃的自主式水下機器人控制方法和系統

有效

• 申請號: 202110063508.6
• 申請日: 2021-01-18
• 公開（公告）號: CN112859889B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 胡滿江;葉俊;邊有鋼;秦兆博;徐彪;秦洪懋;秦曉輝;謝國濤;王曉偉;丁榮軍
• 申請（專利權）人: 湖南大學
• 主分類號: G05D1/06
• 分類號: G05D1/06
• 代理公司: 北京匯智勝知識產權代理事務所(普通合伙) 11346
• 代理人: 石輝;趙立軍

本發明公開了一種基于自適應動態規則的自主式水下機器人控制方法和系統，該方法包括：步驟1，構建自主式水下機器人控制中的狀態量、控制變量、轉移環境、效用函數和代價函數；步驟2，通過構建自適應動態規劃的執行網絡對策略進行提升以及通過構建自適應動態規劃的評價網絡對策略進行評估；步驟3，預設控制律u(s_k)，對策略進行評估；步驟4，預設控制律u(s_k)，對策略進行提升，使得J(s_k，u(s_k))值更小；步驟5，重復步驟3至步驟4，直至循環迭代次數j大于規定次數或相鄰兩次循環迭代之后的代價函數差值小于設定值時，迭代循環過程終止。

技術領域

本發明涉及自主式水下機器人控制技術領域，特別是關于一種基于自適應動態規劃的自主式水下機器人控制方法和系統。

背景技術

自主式水下機器人作為一種水下多技術儀器集成的智能潛航器，在進行海洋勘測和資源開發等方面產生了巨大的實際應用價值。為使自主式水下機器人在復雜的動態洋流環境中能夠自主完成設定任務，安全可靠的控制方法是十分必要的。傳統的自主式水下機器人控制器設計主要是基于人為建立的精確動力學模型，此處所述的建立精確動力學模型指的是對一系列符合自主式水下機器人運動規律的方程進行精確數學表達，方程中的水動力系數需通過嚴格的水下試驗進行標定，同時，為更好地表達海洋環境，方程中可引入不確定項模擬外部環境擾動，在精確動力學模型設計完備的情況下，可進一步設計控制方法。

在過去的研究工作中，針對自主式水下機器人在復雜的動態洋流環境中的控制方法，仍存在諸多不足之處，主要體現在：1)系統的非線性、強耦合性、水動力系數的不確定性，因此很難對其建立精確的數學模型，并獲得與真實值相符的水動力系數。2)海洋中隨機和時變的動態特性，因此無法對外部干擾進行準確預測。通過不準確的動力學模型進行控制策略設計，可能難以獲得較好的控制效果。因此，在自主式水下機器人控制應用中，無模型的控制器設計是非常有必要的。

發明內容

本發明的目的在于提供一種基于自適應動態規劃的自主式水下機器人控制方法和系統來克服或至少減輕現有技術的上述缺陷中的至少一個。

為實現上述目的，本發明提供一種基于自適應動態規則的自主式水下機器人控制方法，該方法包括：

步驟1，構建自主式水下機器人控制中的狀態量、控制變量、轉移環境、效用函數和代價函數；

步驟2，通過構建自適應動態規劃的執行網絡對策略進行提升以及通過構建自適應動態規劃的評價網絡對策略進行評估；

其中：

執行網絡用于根據k時刻的狀態量s_k，估計與s_k所對應的k時刻控制變量u(s_k)；

評價網絡用于根據s_k和u(s_k)，估計與s_k和u(s_k)所對應的代價函數J(s_k，u(s_k))的近似值；

步驟3，預設控制律u(s_k)，利用式(13)對策略進行評估：

J_j+1(s_k，u(s_k))＝U(s_k～n，u_j(s_k～n))+γⁿ⁺¹J_j+1(s_k+n+1，u(s_k+n+1)) (13)