[發明專利]基于增強學習的水下機器人姿態控制方法

有效

• 申請號: 201911079467.9
• 申請日: 2019-11-07
• 公開（公告）號: CN110703792B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 朱延栓;戴曉強;趙強;袁文華
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G05D1/08
• 分類號: G05D1/08;G05B13/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于增強學習的水下機器人姿態控制方法，結合支持向量機的策略梯度增強學習算法，實現水下機器人在水下進行懸停定點作業，首先定義馬爾科夫決策過程，利用先驗知識，得到一些樣本點，然后根據這些樣本點利用SVM生成初始策略，再利用策略梯度算法對初始策略進行改進，根據改進后的策略生成新的樣本點，再一次利用SVM生成策略，在此策略的基礎上調整參數，將以上過程循環，得到最優的策略，最后將通過增強學習的控制器應用到實際的水下機器人系統中。本發明采用結合支持向量機的策略梯度增強學習算法，解決水下機器人動力學模型難以建立的問題，在學習過程中可以克服各種不確定性，更好地逼近最優策略，提高系統的控制精度。

技術領域

本發明涉及一種水下機器人姿態控制方法，尤其涉及一種基于增強學習的水下機器人姿態控制方法。

背景技術

水下救援作業的重點是水下搜尋和水下救援作業，利用人力搜救是有限的，這些任務完全可以由水下機器人來完成。水下機器人最大的特點是深水作業能力強，操作簡便，操作員在地面控制室通過控制臺的簡單按鈕就可以遙控機器人在水下進行高難度的作業。水下機器人能夠在潛水員不能達到的深度和不安全的水域，完成高強度、大負荷的水下救援作業。當搜救型水下機器人進行水下懸停作業時，由于受到機械手以及水流等干擾因素的影響，且機械手的姿態和持重、載荷等情況，水流情況很難定量得出，這對水下機器人的控制系統提出了更高的要求。這就需要采用環境適應性非常強的控制方法來解決水下機器人(ROV)定點作業的穩定性。

目前常用的水下機器人姿態控制的算法有：PID控制、滑模控制、自適應控制、智能控制以及這些方法的組合控制等。PID控制是應用最廣泛的控制算法，但是在偏離工作點之外的區域，PID控制器往往難以取得滿意的控制性能，而且PID控制本身不具備自適應能力。抖振現象是滑模控制應用于實際控制問題的最大障礙之一。自適應控制以精確的數學模型為基礎，主要建立在線性控制理論的基礎之上，并且要求閉環系統對于各種干擾具有強抑制能力以及對參數變化具有低敏感性，能在各種工況和環境下穩定運行，這些限制條件在很大程度上影響了自適應控制在水下機器人運動控制中的應用。智能控制是較為先進的控制算法，但是其控制器參數只能在全局范圍內調整，沒有局部調整能力，故不能實現最佳匹配。

近年來，增強學習算法在水下機器人控制領域得到了一定的發展。Carreras研究組基于Baxter和Bartlett的直接梯度算法OLPOMDP提出了一種增強學習直接策略梯度搜索方法(RLDPS)，用以解決自主水下機器人的動作選擇問題。策略用一個神經網絡表示，其輸入是狀態，輸出是動作選擇概率，權值是策略參數。該算法易于實現，而且計算時間大為縮短。但在URIS和GARBI水下機器人上進行的仿真試驗表明，若要尋找最優解，則其收斂速度將非常緩慢。

發明內容

發明目的：針對以上問題，本發明提出一種基于增強學習的水下機器人姿態控制方法，實現搜救型水下機器人在有外界擾動及機械手動作影響下，能夠進行穩定懸停作業。

技術方案：為實現本發明的目的，本發明所采用的技術方案是：一種基于增強學習的水下機器人姿態控制方法，包括步驟：

(1)構建基于馬爾科夫序列的水下機器人動力學模型和回報函數；

(2)引入先驗知識，利用支持向量機算法作為函數逼近器，尋找最優策略；

(3)將通過增強學習的控制器應用到水下機器人系統中。

進一步地，所述步驟1中，水下機器人動力學模型為：

其中，M是由剛體慣性和附加質量組成的慣性矩陣，C(ζ)是剛體項和附加質量項組成的哥式力和向心力矩陣，D(ζ)是由阻力引起的阻尼矩陣，g(n)是由重力和浮力引起的恢復力與力矩矢量，B是取決于推進器配置的控制矩陣，u是機器人推進器提供的力與力矩矢量；