[發明專利]基于強化學習的波動鰭推進水下作業機器人追蹤控制方法

有效

• 申請號: 201911077089.0
• 申請日: 2019-11-06
• 公開（公告）號: CN111079936B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 王宇;唐沖;王睿;王碩;譚民;馬睿宸
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N20/00
• 分類號: G06N20/00;B63C11/52
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于強化學習的波動鰭推進水下作業機器人追蹤控制方法，其特征在于，該方法包括以下步驟：

步驟S100，獲取t時刻水下作業機器人的系統狀態信息及待跟蹤目標在所述水下作業機器人隨體坐標系下的位姿信息，構建馬爾科夫決策過程的狀態信息s_t；

步驟S200，基于s_t，通過Actor-Critic強化學習模型中的Actor網絡獲取波動鰭的波動頻率a_t；

步驟S300，基于a_t對水下作業機器人的波動鰭進行控制，令t＝t+1，跳轉步驟S100；

其中，所述Actor-Critic強化學習模型包括Actor網絡和Critic網絡，其通過離線訓練得到，訓練方法為：

步驟A100，獲取預設的訓練數據集中t時刻水下作業機器人的系統狀態信息及待跟蹤目標在所述水下作業機器人隨體坐標系下的位姿信息，構建馬爾科夫決策過程的狀態信息s_t；

步驟A200，獲取t時刻的監督訓練概率、隨機監督概率，若所述監督訓練概率大于所述隨機監督概率，則基于s_t，通過PID控制器獲取波動鰭的波動頻率a_t，否則基于s_t，通過Actor網絡獲取波動鰭的波動頻率a_t；

步驟A300，基于s_t和a_t，分別通過Actor-Critic強化學習模型中的Critic網絡和預設的獎勵函數獲取狀態-動作評價值Q^*(s_t,a_t)、獎勵值r_t；

步驟A400，基于Q^*(s_t,a_t)，通過確定性策略梯度算法更新所述Actor網絡的參數；并基于Q^*(s_t,a_t)、r_t，更新所述Critic網絡的參數；

步驟A500，令t＝t+1，循環執行步驟A100-步驟A400，直至t大于預設的訓練次數，得到訓練好的Actor網絡。

2.根據權利要求1所述的基于強化學習的波動鰭推進水下作業機器人追蹤控制方法，其特征在于，所述Actor網絡包括四個卷積層；第一個卷積層和第二個卷積層的神經元個數為200，激活函數為Relu6函數，第三個卷積層的神經元個數為10，激活函數為Relu函數，第四個卷積層神經元個數為2，激活函數為tanh函數。

3.根據權利要求1所述的基于強化學習的波動鰭推進水下作業機器人追蹤控制方法，其特征在于，所述Critic網絡包含五個卷積層，第一、二、三個卷積層的神經元個數為200，激活函數為Relu6函數，第四個卷積層的神經元個數為10，激活函數為Relu函數，第五個卷積層神經元個數為1，激活函數為線性激活函數。

4.根據權利要求3所述的基于強化學習的波動鰭推進水下作業機器人追蹤控制方法，其特征在于，步驟A200中“獲取t時刻的監督訓練概率、隨機監督概率”，其方法為：

PRO_t＝PRO₀*0.999^t

PRO_r＝max(rand(1),0.01)

其中，PRO_t為t時刻的監督訓練概率，PRO_r為隨機監督概率，PRO₀為預設的初始監督訓練概率。