[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)和阻抗控制的柔順人機(jī)接觸方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210484043.6
• 申請(qǐng)日: 2022-05-05
• 公開（公告）號(hào): CN114789444B
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計(jì)）人: 舒明雷;張鐵譯;陳超;王若同;劉照陽
• 申請(qǐng)（專利權(quán)）人: 山東省人工智能研究院;齊魯工業(yè)大學(xué)
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16
• 代理公司: 濟(jì)南泉城專利商標(biāo)事務(wù)所 37218
• 代理人: 支文彬

一種基于深度強(qiáng)化學(xué)習(xí)和阻抗控制的柔順人機(jī)接觸方法，根據(jù)本任務(wù)的需求，建立相關(guān)的狀態(tài)空間，動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)，為實(shí)現(xiàn)任務(wù)的柔順性，在身體表面建立虛擬接觸面，結(jié)合阻抗控制，提前獲取執(zhí)行器到達(dá)目標(biāo)部位的虛擬接觸力，并輸入狀態(tài)空間，通過深度強(qiáng)化學(xué)習(xí)算法對(duì)執(zhí)行器動(dòng)作的調(diào)整，實(shí)現(xiàn)力調(diào)整，完成任務(wù)。實(shí)現(xiàn)了深度強(qiáng)化學(xué)習(xí)和柔順控制的結(jié)合，建立了虛擬接觸面，可提前獲取執(zhí)行器的接觸力，實(shí)現(xiàn)對(duì)接觸力的調(diào)整，來適應(yīng)復(fù)雜多變的柔順人機(jī)接觸任務(wù)。

技術(shù)領(lǐng)域

本發(fā)明涉及柔順控制技術(shù)領(lǐng)域，具體涉及一種基于深度強(qiáng)化學(xué)習(xí)和阻抗控制的柔順人機(jī)接觸方法。

背景技術(shù)

近年來，隨著人工智能技術(shù)的進(jìn)步，機(jī)器人的感知能力和交互溝通能力越來越強(qiáng)，作為一個(gè)模擬人類行為的機(jī)器系統(tǒng)，智能機(jī)器人能夠協(xié)助人類完成各式各樣的任務(wù)，相互之間的接觸也不可避免的發(fā)生，為實(shí)現(xiàn)人與機(jī)器人的緊密結(jié)合，“人機(jī)共融”成為了重要的發(fā)展趨勢。在這種趨勢下，對(duì)機(jī)器人操作水平的要求也越來越高。在機(jī)器人的位置控制和力控方面，傳統(tǒng)的柔順控制技術(shù)已經(jīng)發(fā)展得非常成熟。但控制系統(tǒng)的設(shè)計(jì)依托于精確的數(shù)學(xué)模型，而在柔順人機(jī)接觸任務(wù)中，由于環(huán)境的復(fù)雜性、時(shí)變性以及不確定性，很難得到精確的數(shù)學(xué)模型。因此，傳統(tǒng)控制技術(shù)在處理相應(yīng)任務(wù)時(shí)仍存在一定的挑戰(zhàn)和局限性。

發(fā)明內(nèi)容

本發(fā)明為了克服以上技術(shù)的不足，提供了一種基于深度強(qiáng)化學(xué)習(xí)和阻抗控制的柔順人機(jī)接觸方法。

本發(fā)明克服其技術(shù)問題所采用的技術(shù)方案是：

一種基于深度強(qiáng)化學(xué)習(xí)和阻抗控制的柔順人機(jī)接觸方法，包括如下步驟：

a)根據(jù)柔順人機(jī)接觸任務(wù)，以機(jī)械臂底座建立機(jī)械臂坐標(biāo)系，獲得執(zhí)行器的初始位置坐標(biāo){P_x,P_y,P_z}及目標(biāo)部位在機(jī)械臂坐標(biāo)系下的位置坐標(biāo){O_x,O_y,O_z}，P_x為執(zhí)行器的X軸坐標(biāo)，P_y為執(zhí)行器的Y軸坐標(biāo)，P_z為執(zhí)行器的Z軸坐標(biāo)，O_x為目標(biāo)部位的X軸坐標(biāo)，O_y為目標(biāo)部位的Y軸坐標(biāo)，O_z為目標(biāo)部位的Z軸坐標(biāo)；

b)通過深度強(qiáng)化學(xué)習(xí)算法建立狀態(tài)空間S和動(dòng)作空間A，S＝{P′_x,P′_y,P′_z,O_x,O_y,O_z,F_x,F_y,F_z}，式中F_x為執(zhí)行器的X軸方向上的接觸力分力，F(xiàn)_y為執(zhí)行器的Y軸方向上的接觸力分力，F(xiàn)_z為執(zhí)行器的Z軸方向上的接觸力分力，P′_x為執(zhí)行器的實(shí)時(shí)位置的X軸坐標(biāo)，P′_y為執(zhí)行器的實(shí)時(shí)位置的Y軸坐標(biāo)，P′_z為執(zhí)行器的實(shí)時(shí)位置的Z軸坐標(biāo)；

c)對(duì)機(jī)械臂位姿進(jìn)行初始化，初始化后執(zhí)行器的實(shí)時(shí)位置坐標(biāo)為{P′_x,P′_y,P′_z}，得到執(zhí)行器初始位置與目標(biāo)部位之間的距離d_i及執(zhí)行器當(dāng)前位置與目標(biāo)部位之間的距離d_c；

d)通過公式r₁＝(d_i-d_c)/d_i計(jì)算得到基于距離的獎(jiǎng)勵(lì)函數(shù)r₁；

e)設(shè)定柔順人機(jī)在接觸任務(wù)中，執(zhí)行器與目標(biāo)接觸的接觸力在m-nN之內(nèi)；

f)在距離身體距離為γ處設(shè)置虛擬接觸面；

g)通過公式l＝|P′_z-O_z|計(jì)算得到是否接觸到虛擬接觸面的判定條件值l；