[發(fā)明專利]保證接觸安全的機(jī)器人強(qiáng)化學(xué)習(xí)方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210744763.1
• 申請日: 2022-06-27
• 公開（公告）號: CN115042178A
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計）人: 陳建宇;朱翔;康書誠
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 趙靜

1.一種保證接觸安全的機(jī)器人強(qiáng)化學(xué)習(xí)方法，其特征在于，包括以下步驟：

獲取機(jī)器人目標(biāo)任務(wù)；

利用預(yù)設(shè)的強(qiáng)化學(xué)習(xí)策略生成所述目標(biāo)任務(wù)的笛卡爾空間變阻抗控制的參數(shù)，并根據(jù)姿態(tài)約束生成約束動作；

若所述機(jī)器人未發(fā)生碰撞，則根據(jù)所述笛卡爾空間變阻抗控制的參數(shù)和約束動作生成第一執(zhí)行動作，控制所述機(jī)器人按照所述第一執(zhí)行動作執(zhí)行所述目標(biāo)任務(wù)，否則根據(jù)碰撞力大小計算變阻抗控制補(bǔ)償量，利用所述變阻抗控制補(bǔ)償量補(bǔ)償所述笛卡爾空間變阻抗控制的參數(shù)的同時，修正所述姿態(tài)約束生成補(bǔ)償約束動作，根據(jù)所述補(bǔ)償后的笛卡爾空間變阻抗控制的參數(shù)和所述補(bǔ)償約束動作生成第二執(zhí)行動作，并控制所述機(jī)器人按照所述第二執(zhí)行動作執(zhí)行所述目標(biāo)任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在利用所述預(yù)設(shè)強(qiáng)化學(xué)習(xí)策略生成所述目標(biāo)任務(wù)的笛卡爾空間變阻抗控制的參數(shù)之前，還包括：

以所述機(jī)器人目標(biāo)任務(wù)為輸入，所述目標(biāo)任務(wù)的笛卡爾空間變阻抗控制的參數(shù)為輸出，進(jìn)行仿真訓(xùn)練，得到所述預(yù)設(shè)的強(qiáng)化學(xué)習(xí)策略，其中，所述笛卡爾空間變阻抗控制的參數(shù)包括所述機(jī)器人目標(biāo)任務(wù)對應(yīng)的平衡點(diǎn)、剛度矩陣和阻尼矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用預(yù)設(shè)的強(qiáng)化學(xué)習(xí)策略生成所述目標(biāo)任務(wù)的笛卡爾空間變阻抗控制的參數(shù)，其中，笛卡爾空間變阻抗控制的參數(shù)為：

其中，K₁為剛度矩陣，D₁為阻尼矩陣，x_d為平衡點(diǎn)，Λ_t(q)為任務(wù)空間質(zhì)量矩陣，為動態(tài)一致的任務(wù)雅克比矩陣，x為末端執(zhí)行器在笛卡爾空間的位置，為末端執(zhí)行器在笛卡爾空間的速度，為科里奧利力和向心力向量，p_t(g)為重力向量，τ_ext為機(jī)器人關(guān)節(jié)受到的力矩，q為機(jī)器人的廣義坐標(biāo)下的位形，為機(jī)器人廣義坐標(biāo)下的速度；

根據(jù)姿態(tài)約束生成約束動作，其中，所述約束動作為：

其中，K₂為關(guān)節(jié)剛度矩陣，D₂為阻尼矩陣，q_pose為機(jī)器人期望的位形。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述笛卡爾空間變阻抗控制的參數(shù)和約束動作生成所述第一執(zhí)行動作，其中，所述第一執(zhí)行動作為：

其中，為機(jī)器人的任務(wù)空間雅克比矩陣，為機(jī)器人任務(wù)空間雅克比矩陣對應(yīng)的零空間投影矩陣。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，利用所述變阻抗控制補(bǔ)償量補(bǔ)償所述笛卡爾空間變阻抗控制的參數(shù)，其中，補(bǔ)償后的笛卡爾空間變阻抗控制的參數(shù)為：

其中，γ為殘差向量。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)所述補(bǔ)償后的笛卡爾空間變阻抗控制的參數(shù)和所述補(bǔ)償約束動作生成所述第二執(zhí)行動作，其中，所述第二執(zhí)行動作為：

其中，為退化接觸雅可比矩陣的任務(wù)一致零空間的投影矩陣。

7.一種保證接觸安全的機(jī)器人強(qiáng)化學(xué)習(xí)裝置，其特征在于，包括：

獲取模塊，用于獲取機(jī)器人目標(biāo)任務(wù)；

生成模塊，用于利用預(yù)設(shè)的強(qiáng)化學(xué)習(xí)策略生成所述目標(biāo)任務(wù)的笛卡爾空間變阻抗控制的參數(shù)，并根據(jù)姿態(tài)約束生成約束動作；

處理模塊，用于在所述機(jī)器人未發(fā)生碰撞時，根據(jù)所述笛卡爾空間變阻抗控制的參數(shù)和約束動作生成第一執(zhí)行動作，控制所述機(jī)器人按照所述第一執(zhí)行動作執(zhí)行所述目標(biāo)任務(wù)；在所述機(jī)器人發(fā)生碰撞時，根據(jù)碰撞力大小計算變阻抗控制補(bǔ)償量，利用所述變阻抗控制補(bǔ)償量補(bǔ)償所述笛卡爾空間變阻抗控制的參數(shù)的同時，修正所述姿態(tài)約束生成補(bǔ)償約束動作，根據(jù)所述補(bǔ)償后的笛卡爾空間變阻抗控制的參數(shù)和所述補(bǔ)償約束動作生成第二執(zhí)行動作，并控制所述機(jī)器人按照所述第二執(zhí)行動作執(zhí)行所述目標(biāo)任務(wù)。