[發明專利]基于自適應動態規劃的自主式水下機器人控制方法和系統

有效

• 申請號: 202110063508.6
• 申請日: 2021-01-18
• 公開（公告）號: CN112859889B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 胡滿江;葉俊;邊有鋼;秦兆博;徐彪;秦洪懋;秦曉輝;謝國濤;王曉偉;丁榮軍
• 申請（專利權）人: 湖南大學
• 主分類號: G05D1/06
• 分類號: G05D1/06
• 代理公司: 北京匯智勝知識產權代理事務所(普通合伙) 11346
• 代理人: 石輝;趙立軍

1.一種基于自適應動態規則的自主式水下機器人控制方法，其特征在于，包括：

步驟1，構建自主式水下機器人控制中的狀態量、控制變量、轉移環境、效用函數和代價函數；

步驟2，通過構建自適應動態規劃的執行網絡對策略進行提升以及通過構建自適應動態規劃的評價網絡對策略進行評估；

其中：

執行網絡用于根據k時刻的狀態量s_k，估計與s_k所對應的k時刻控制變量u(s_k)；

評價網絡用于根據s_k和u(s_k)，估計與s_k和u(s_k)所對應的代價函數J(s_k，u(s_k))的近似值；

步驟3，預設控制律u(s_k)，利用式(13)對策略進行評估：

J_j+1(s_k，u(s_k))＝U(s_k～n，u_j(s_k～n))+γⁿ⁺¹J_j+1(s_k+n+1，u(s_k+n+1)) (13)

其中，j為每次進行策略評估時的循環迭代次數；s_k+n+1通過s_k經由轉移環境f(·)得到，u(s_k+n+1)通過u(s_k)經由轉移環境f(·)得到；γ為折扣因子；J_j+1(s_k，u(s_k))為代價函數第j+1次循環迭代后的近似值；n為預測步數；β為執行網絡的權值；U(s_k～n，u_j(sk～n))為n步效用函數之和，其表示為式(14)：

依據式(13)進行代價函數的更新，其中，在第j+1次循環迭代時，實際是進行多次J_i+1(s_k，u(s_k))＝U(s_k～n，u_j(s_k～n))+γⁿ⁺¹J_i(s_k+n+1，u(s_k+n+1))代價函數更新，以至J_i+1(s_k，u(s_k))-J_i(s_k，u(s_k))＝0；

式中，i為進行第j次策略評估時達到J(s_k，u(s_k))＝U(s_k～n，u_j(s_k～n))+ γⁿ⁺¹J(s_k+n+1，u(s_k+n+1))需要進行的內部循環次數；

轉移環境f(·)用于使自主式水下機器人在當前時刻狀態量與控制變量的作用下，轉移得到下一時刻的狀態量，表示為：

其中，s(t)表示狀態量，u(t)表示控制變量；效用函數用于評價自主式水下機器人在當前時刻狀態下采取的控制動作的優劣，其表示為式(8)：

其中，Q為對應于s＝[w，q，θ，z]^T中的四個狀態量的對稱且正定的權重矩陣；R為對應于控制量的對稱且正定的權重矩陣；為當前k時刻狀態量與目標狀態值的誤差，s_k表示k時刻的狀態量；u(s_k)表示時刻與s_k對應的控制量；

步驟4，預設控制律u(s_k)，基于自適應動態規劃的過程表示為采用式(18)對策略進行提升，使得J(s，u)值更小：

其中，u_j+1(s_k)為k時刻第j+1次循環迭代執行網絡的輸出；

步驟5，重復步驟3至步驟4，直至循環迭代次數j大于規定次數或相鄰兩次循環迭代之后的代價函數差值J_j+1(s_k，u(s_k))-J_j(s_k，u(s_k))小于設定值時，迭代循環過程終止。