[發明專利]一種具有輸入飽和受限的無人船強化學習自適應跟蹤控制方法

有效

• 申請號: 202010638107.4
• 申請日: 2020-07-03
• 公開（公告）號: CN111679585B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 王寧;李堃;高穎;沈士為;楊忱;薛皓原
• 申請（專利權）人: 大連海事大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜玉蓉;李洪福

1.一種具有輸入飽和受限的無人船強化學習自適應跟蹤控制方法，其特征在于，所述方法包括：

建立無人水面船數學模型，設定無人水面船的期望軌跡數學模型，包括：

定義北東坐標系OX₀Y₀Z₀和附體坐標系BXYZ兩個坐標系；

將北東坐標系(OX₀Y₀Z₀)視作慣性坐標系，取地球任一點O為坐標原點，OX₀指向正北，OY₀指向正東，OZ₀指向地球球心；

將附體坐標系BXYZ視作非慣性坐標系，船舶左右對稱時，取其中心為坐標原點B，BX軸沿著船舶中線指向船艏方向，BY軸垂直指向右舷，BZ軸沿XY平面垂直指向下；

對無人水面船進行建模，得到如下船舶運動控制數學模型：

其中，η＝[x,y,ψ]^T表示北東坐標系下的船舶位置向量，x、y表示無人水面船運動的北東位置，ψ∈[0,2π]表示艏搖角；R(ψ)表示地球坐標系和船體坐標系之間的轉換矩陣；ν＝[u,v,r]^T表示附體坐標系下無人水面船運動的速度向量，u、v、r分別表示其縱蕩速度、橫蕩速度、艏搖速度；τ′＝M^-1τ，τ＝[τ_u,τ_v,τ_r]^T表示船舶控制輸入向量，τ_u、τ_v、τ_r分別表示縱蕩控制力、橫蕩控制力、艏搖控制力；f(v)表示系統動態向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加質量的慣性矩陣，C(v)表示斜對稱矩陣，D(v)表示阻尼矩陣；

設定無人水面船的期望軌跡數學模型如下：

其中，x_d＝[η_d^T,v_d^T]^T，η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分別是無人水面船跟蹤的期望位置向量及速度向量；

基于設定的期望軌跡數學模型，引入控制器輸入飽和函數；包括：

引入控制器輸入飽和函數，其表達式如下：

其中，μ_i表示控制輸入；τ_i,M是τ_i的界，τ_i表示具有飽和特性的控制輸入；sat(μ_i)是μ_i的飽和函數；

將上述sat(μ_i)函數逼近為一個光滑的函數，如下表示：

則引入的控制器輸入飽和函數最終表示如下：

sat(μ_i)＝J(μ_i)+ρ(μ_i)

其中，ρ(μ_i)表示有界函數，J(μ_i)表示飽和函數的逼近函數；

基于引入控制器輸入飽和函數的期望軌跡數學模型，設計無人船控制率；包括：

構建成本函數，如下：

其中，t表示時間；γ表示折扣因子；z表示跟蹤誤差；e表示指數函數，η_e表示位置誤差，η_e＝η-η_d，η表示船舶實際位置，η_d表示船舶參考位置；v_e表示速度誤差，v_e＝v-v_d-h，v表示船舶實際速度，v_d表示船舶參考速度，h表示輔助變量，滿足μ表示控制輸入；

構建無人船軌跡跟蹤動態，如下：

其中，R^T表示轉換矩陣，f^T(η,v)表示系統動態向量，表示參考系統的動態向量；μ^*表示最優控制率；

定義最優成本函數，如下：

其中，r(e,μ^*)＝e^TΛ_ee+μ^*TΛ_μμ^*，Λ_e,Λ_μ均為正定矩陣；e^T表示誤差的轉置；

根據上述定義的最優成本函數，得到哈密爾頓-雅克比-貝爾曼方程，如下：

其中，表示成本函數的梯度；

得到無人船最優控制率，如下：

基于設計的無人船控制率，設計神經網絡權重更新率；包括：

根據前饋神經網絡的全局逼近特性，將最優代價函數表示為：

其中，表示評判器神經網絡理想的權重向量，N表示神經元的個數，表示神經網絡輸入向量基函數，ε_c表示有界神經網絡函數逼近誤差；

設計所述最優成本函數的逼近函數，表示如下：

其中，表示的估計；表示神經網絡輸入向量基函數；

基于上述設計的逼近函數，得到哈密爾頓-雅克比-貝爾曼方程，如下：

則最優控制器為：

其中，表示的估計，通過梯度下降方法得到：

其中，Γ_c表示正定矩陣；

計算演員更新率其計算公式如下：

其中，k_a為常數，Γ_a為正定矩陣。