[發(fā)明專利]一種ROV推力分配與基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010820394.0
• 申請(qǐng)日: 2020-08-14
• 公開(kāi)（公告）號(hào): CN111966118B
• 公開(kāi)（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 孫玉山;吳新雨;張國(guó)成;李岳明;王元慶;祁彧;柴璞鑫
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G05D1/06
• 分類號(hào): G05D1/06
• 代理公司: 哈爾濱市陽(yáng)光惠遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 23211
• 代理人: 劉景祥

本發(fā)明的一種ROV推力分配與基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法，屬于水下機(jī)器人技術(shù)領(lǐng)域。包括：進(jìn)行ROV動(dòng)力學(xué)建模，確定ROV推進(jìn)器空間布置及推進(jìn)系統(tǒng)模型，提出ROV推力分配方法；在所述ROV推力分配方法的基礎(chǔ)上，加入DDPG控制器；在所述DDPG控制器的基礎(chǔ)上，加入抗擾控制器。該ROV推力分配方法在進(jìn)行推力分配的同時(shí)降低推進(jìn)器能耗，從而降低了整個(gè)ROV的能耗。DDPG算法能夠在動(dòng)作輸出幅度能進(jìn)行連續(xù)值輸出，更適用水下機(jī)器人控制問(wèn)題，同時(shí)DDPG控制器能夠在連續(xù)決策問(wèn)題中進(jìn)行學(xué)習(xí)。采用抗擾控制器可以提高該運(yùn)動(dòng)控制方法對(duì)ROV未建模水動(dòng)力、外界擾動(dòng)及其他不確定因素的抗擾能力。

技術(shù)領(lǐng)域

本發(fā)明涉及基于一種ROV推力分配與基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法，屬于水下機(jī)器人技術(shù)領(lǐng)域。

背景技術(shù)

隨著海洋技術(shù)的發(fā)展，水下探測(cè)、水下作業(yè)等任務(wù)的需求越來(lái)越大，無(wú)人設(shè)備在水下工程的地位愈發(fā)重要，其中水下機(jī)器人技術(shù)的研究與應(yīng)用受到國(guó)內(nèi)外研究者的重視。其中由于遙控水下機(jī)器人(ROV)通常用于水下作業(yè)任務(wù)，需要ROV在復(fù)雜水體環(huán)境中長(zhǎng)時(shí)間穩(wěn)定工作，因此如何使ROV控制更加精準(zhǔn)可靠受到很多研究人員的青睞。

通常水下機(jī)器人控制器設(shè)計(jì)時(shí)需要建立運(yùn)動(dòng)系統(tǒng)模型，根據(jù)模型設(shè)計(jì)控制器形式并調(diào)整控制器參數(shù)。但由于水下機(jī)器人的運(yùn)動(dòng)學(xué)模型由多方面因素影響，其運(yùn)動(dòng)系統(tǒng)是多階非線性的，同時(shí)多自由度交叉耦合現(xiàn)象加大了水下機(jī)器人的運(yùn)動(dòng)控制的難度，并且水體環(huán)境復(fù)雜多變，使水下機(jī)器人運(yùn)動(dòng)學(xué)模型難以用于對(duì)實(shí)際工程的指導(dǎo)。

常見(jiàn)的ROV推進(jìn)分配方法有偽逆分配法、數(shù)學(xué)規(guī)劃法等，偽逆分配法不需要考慮執(zhí)行能力范圍和位置飽和約束，會(huì)出現(xiàn)計(jì)算結(jié)果與實(shí)際預(yù)期不符的現(xiàn)象，出現(xiàn)推進(jìn)器飽和和欠缺等問(wèn)題，并且以該方法不能考慮能耗函數(shù)或其他優(yōu)化目標(biāo)，此方法不能執(zhí)行在分配的同時(shí)進(jìn)行優(yōu)化的任務(wù)，導(dǎo)致機(jī)器人能量浪費(fèi)等損失。數(shù)學(xué)規(guī)劃法求解最優(yōu)問(wèn)題較為繁復(fù)，計(jì)算速度較慢，可能有實(shí)時(shí)性不足的問(wèn)題，使用該方法有在局部極值點(diǎn)處進(jìn)行迭代不能收斂到全局最優(yōu)的問(wèn)題，而且在求解時(shí)由于放寬了限制條件，可能造成分配后推力無(wú)法達(dá)到預(yù)期效果等限制。

該發(fā)明提出了一種基于遺傳算法的推力分配方法，在進(jìn)行推力分配的同時(shí)降低推進(jìn)器能耗，之后提出了一種基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法進(jìn)行ROV的運(yùn)動(dòng)控制，實(shí)現(xiàn)了ROV運(yùn)動(dòng)的精確控制。

發(fā)明內(nèi)容

本發(fā)明的目的是提出一種ROV推力分配與基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法，針對(duì)傳統(tǒng)設(shè)計(jì)模式的缺點(diǎn)，本文以搭載矢量布置推進(jìn)器的遙控水下機(jī)器人為載體，研究推力分配節(jié)能優(yōu)化方案，和使用強(qiáng)化學(xué)習(xí)對(duì)ROV進(jìn)行運(yùn)動(dòng)控制。

一種ROV推力分配與基于強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)控制方法，所述方法包括以下步驟：

步驟一、進(jìn)行ROV動(dòng)力學(xué)建模，確定ROV推進(jìn)器空間布置及推進(jìn)系統(tǒng)模型，提出ROV推力分配方法；

步驟二、在所述ROV推力分配方法的基礎(chǔ)上，加入DDPG控制器；

步驟三、在所述DDPG控制器的基礎(chǔ)上，加入抗擾控制器。

在步驟一中，具體的，建立有利于描述水下機(jī)器人運(yùn)動(dòng)狀態(tài)的坐標(biāo)系，慣性坐標(biāo)系以空間任意一點(diǎn)為原點(diǎn)，Eζ軸正向指向地心，Eξ軸指向北向、Eη指向東向，隨體坐標(biāo)系O-xyz固連于ROV艇體上，原點(diǎn)取在ROV的對(duì)稱軸中點(diǎn)或在重心上，取縱軸Ox指向艇首，橫軸Oy與Ox軸正交于同一平面并以右舷為正方向，垂軸Oz指向機(jī)器人的腹部，機(jī)器人的位置和方向由慣性坐標(biāo)系表示，速度和角速度在隨體坐標(biāo)系中表示，

在慣性坐標(biāo)系中，ROV位置和姿態(tài)表示為：

其中：R為ROV的位姿項(xiàng)，r為ROV的位置項(xiàng)，Λ為ROV的姿態(tài)項(xiàng)，ξ為大地坐標(biāo)系縱向，η為大地坐標(biāo)系橫向，ζ為大地坐標(biāo)系垂向，為橫傾角，θ為縱傾角，ψ為艏向角，