[發明專利]一種基于Actor-Critic算法的水下機器人運動控制方法

有效

• 申請號: 202011432207.8
• 申請日: 2020-12-09
• 公開（公告）號: CN112462792B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 孫延超;杜雨桐;王卓;吳淼;秦洪德;韓光潔
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G05D1/06
• 分類號: G05D1/06
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 張換男

1.一種基于Actor-Critic算法的水下機器人運動控制方法，其特征在于：所述方法具體過程為：

步驟一、初始化參數；

步驟二、基于反步法分別設計水下機器人的速度控制系統和艏向控制系統，再根據簡化后的AUV動力學模型和運動學方程確定速度控制系統的控制律以及艏向控制系統的控制律；

步驟三、設定Actor-Critic神經網絡，Actor-Critic神經網絡包括四個RBF神經網絡，分別為Actor當前網絡、Actor目標網絡、Critic當前網絡和Critic目標網絡；

步驟四、確定Actor當前網絡的輸入和輸出；確定Critic當前網絡的輸入和輸出；

步驟五、確定Actor目標網絡的輸入和輸出；確定Critic目標網絡的輸入和輸出；

步驟六、設定Actor網絡的損失函數，對Actor網絡的損失函數求梯度下降，并通過RBF神經網絡更新公式更新Actor當前網絡權值參數；

步驟七、計算Critic網絡的損失函數，對Critic網絡的損失函數求梯度下降，并通過RBF神經網絡更新公式來更新Critic當前網絡權值參數；

步驟八、重復執行步驟四至步驟七n次，第n次將更新后的critic當前網絡權值參數復制到critic目標網絡，將更新后的Actor當前網絡權值參數復制到Actor目標網絡；

步驟九、重復執行步驟八，直至Actor-Critic神經網絡收斂，得到穩定的Q值；此時Actor當前網絡輸出動作，疊加噪聲后，通過變換即為控制律參數值；

所述步驟六中設定Actor網絡的損失函數，對Actor網絡的損失函數求梯度下降，并通過RBF神經網絡更新公式更新Actor當前網絡權值參數；具體過程為：

Actor網絡損失函數為：

其中，n為輸出Q值數量；Q(s_i,a_i,w)是輸入狀態和動作后得到的價值；s_i為當前狀態；a_i為Actor當前網絡輸出動作；w為神經網絡權值；

RBF神經網絡更新公式為：

式中，Δc_ij和Δσ_j是徑向基函數參數增量；Δw_jk是神經網絡權值增量；η為常數；w_jk為第k個隱層權值；y_dk為期望輸出Q值；y_k為當前輸出Q值；x_i為神經網絡第i輸入；c_ij為第i個輸入量對第j個基函數的中心點；x為神經網絡輸入；c_j為第j個基函數的中心點；E表示損失函數；f(·)為以e為底的指數函數；

下一時刻的權值為：

c_ij(t+1)＝c_ij(t)+Δc_ij+α[c_ij(t)-c_ij(t-1)]

σ_j(t+1)＝σ_j(t)+Δσ_j+α[σ_j(t)-σ_j(t-1)]

w_jk(t+1)＝w_jk(t)+Δw_jk+α[w_jk(t)-w_jk(t-1)]

其中η為神經網絡學習率，f(·)為節點基函數，y_k是神經網絡輸出值，y_dk是期望輸出，t表示迭代當前步，α為平滑因子，表示損失函數；

所述步驟七中計算Critic網絡的損失函數，對Critic網絡的損失函數求梯度下降，并通過RBF神經網絡更新公式來更新Critic當前網絡權值參數；具體過程為：

通過Critic目標網絡輸出的Q_t+1與回報函數R，得到期望值y_i＝R+γQ_t+1(S_t+1,a_t+1,w')

其中w′是Critic期望網絡權值；

對于速度，設回報函數為速度與加速度相對于目標的差值，即R＝-|u_d-u|-|u1_d-u1|，對于舶向角，設計回報函數為R＝-|ψ_d-ψ|-|ψ1_d-ψ1|；

u_d為目標速度；u為當前速度；u1_d為目標加速度；u1為當前目標加速度；

ψ_d為目標舶向角；ψ為當前舶向角；ψ1_d為目標舶向角導數；ψ1為當前舶向角導數；

計算TD誤差：

其中γ是折扣率；

進而得到損失函數：

式中，n為輸出Q值數量；w為神經網絡權值；Q(s_i,a_i,w)是輸入狀態和動作后得到的價值；s_i為當前狀態；a_i為當前動作；

對損失函數J(w)求梯度下降，并通過RBF神經網絡更新公式來更新critic當前網絡和權值參數；

所述步驟九中重復執行步驟八，直至Actor-Critic神經網絡收斂，得到穩定的Q值；此時Actor當前網絡輸出動作，疊加噪聲后，通過變換即為控制律參數值；

具體公式為：

k_u＝(a|_tu-6)*0.2+Ku0

k_ψ1＝(a|_tψ1-7)*0.2+Kr10

k_ψ2＝(a|_tψ2-7)*0.2+Kr20

式中，Ku0、Kr10、Kr20為控制器原始參數；a|_tu、a|_tψ1和a|_tψ2是Actor-Critic算法最終輸出的動作值；*是乘號；

所述步驟二中基于反步法分別設計水下機器人的速度控制系統和艏向控制系統，再根據設計的速度控制系統以及艏向控制系統確定速度控制系統的控制律以及艏向控制系統的控制律；具體過程為：

水下機器人的速度控制系統為：

其中，m為水下機器人的質量，和X_u|u|均為無量綱水動力參數，u為水下機器人縱向速度，|u|為u的絕對值，為水下機器人縱向加速度，τ_u為推進器縱向推力，v為水下機器人橫向速度，r為水下機器人偏航角速度；

水下機器人速度控制系統的控制律為：

其中，k_u為速度控制系統的控制律的待調節控制參數；k_u＞0；u_d為目標速度；為目標加速度；

水下機器人的艏向控制系統為：

其中，為實際艏向角的一階導數，為r的一階導數，N_r、N_r|r|均為無量綱水動力參數，|r|為r的絕對值，τ_r為轉艏力矩，I_z為水下機器人繞運動坐標系z軸的轉動慣量；

所述運動坐標系為：以水下機器人的重心為原點O，以指向水下機器人的艏向方向為x軸正向，以指向水下機器人的右舷方向為為y軸正向，以指向水下機器人的底部方向為z軸正向，且x軸、y軸、z軸符合右手螺旋定則的坐標系；

水下機器人艏向控制系統的控制律為：

其中，k_ψ1為艏向控制系統的控制律的第一個待調節控制參數，k_ψ2為艏向控制系統的控制律的第二個待調節控制參數；k_ψ1＞0和k_ψ2＞0；

所述步驟一中初始化參數；具體為：

初始化神經網絡參數θ、w為[-1,1]的隨機數，并設置神經網絡更新權值α、折扣率γ、ε；初始化控制器原始參數ku0、Kr10以及Kr20；初始化AUV模型參數質量m，無量綱水動力參數X_u|u|、N_r、N_r|r|，水下機器人繞運動坐標系z軸的轉動慣量I_z；

所述步驟三中設定Actor-Critic神經網絡，Actor-Critic神經網絡包括四個RBF神經網絡，分別為Actor當前網絡、Actor目標網絡、Critic當前網絡和Critic目標網絡；具體過程為：

四個RBF神經網絡都是單輸入層、單隱層和單輸出層；

輸入層節點數量為i，隱層節點數量為j，輸出層節點數量為k，隱層節點基函數為高斯基函數，如下式所示，c_j是第j個基函數的中心點，σ_j為基函數圍繞中心點寬度，‖x-c_j‖²表示向量x-c_j的二范數；x為神經網絡輸入；

式中，α_j(x)為隱層節點基函數；f(·)是以e為底的指數函數。