[發明專利]保證接觸安全的機器人強化學習方法、裝置、設備及介質

在審

• 申請號: 202210744763.1
• 申請日: 2022-06-27
• 公開（公告）號: CN115042178A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 陳建宇;朱翔;康書誠
• 申請（專利權）人: 清華大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 趙靜

本申請公開了一種保證接觸安全的機器人強化學習方法、裝置、設備及介質，其中，方法包括：獲取機器人目標任務；利用強化學習策略生成目標任務的笛卡爾空間變阻抗控制的參數，并根據姿態約束生成約束動作；若機器人未發生碰撞，則根據笛卡爾空間變阻抗控制的參數和約束動作生成第一執行動作，并控制機器人按照第一執行動作執行目標任務，否則根據碰撞力大小計算變阻抗控制補償量，補償笛卡爾空間變阻抗控制的參數的同時，修正姿態約束生成補償約束動作，并生成第二執行動作，控制機器人按照第二執行動作執行目標任務。由此，解決了現有的方法無法避免意外碰撞，導致在混亂或未知的環境中產生非預期的危險行為，且未考慮關節空間的接觸安全等問題。

技術領域

本申請涉及智能機器人技術領域，特別涉及一種保證接觸安全的機器人強化學習方法、裝置、設備及介質。

背景技術

強化學習應用于機器人操作任務可以處理復雜任務，具有泛化性能強、效率高等優點并且提供了一種使用無模型方法來解決復雜操作任務的方式。安全問題正是阻礙強化學習廣泛應用于真實世界任務的一大障礙。強化學習在探索階段的常用策略是采用隨機行為或是盡可能探索未知的狀態，但是這些方法都很容易讓機器人產生危險的行為。即使當智能體的訓練過程已經收斂，智能體也可能會在未知場景下或遇到干擾時產生一些非預期的危險行為。

根據碰撞發生的位置，將碰撞安全劃分為：任務空間安全和關節空間安全。任務空間安全要求機器人末端執行器與其執行任務的目標對象之間的接觸力在安全范圍內。關節空間安全則關注機器人身上發生的潛在危險碰撞，這在人機交互任務或非結構化環境中很常見。

現有的針對任務空間安全的常用方法為笛卡爾空間變阻抗控制。針對關節空間安全主要關注于避免碰撞。然而，想要避免所有的碰撞需要精確的物體幾何信息，這在實際場景中是非常難以獲得的。此外，在混亂或未知的環境中，意外碰撞一般是不可避免的。在某些情況下，甚至需要與環境發生接觸來更好地完成任務。在這些情況下，關節空間安全不應通過避免碰撞，而應通過限制接觸力的大小來實現。

然而，現有的方法在使用強化學習場景下，沒有任何方法考慮過此類關節空間的接觸安全。

發明內容

本申請提供一種保證接觸安全的機器人強化學習方法、裝置、設備及介質，以解決現有的方法無法避免意外碰撞，導致在未知場景下或遇到干擾時產生一些非預期的危險行為，且未考慮過關節空間的接觸安全等問題。

本申請第一方面實施例提供一種保證接觸安全的機器人強化學習方法，包括以下步驟：獲取機器人目標任務；利用預設的強化學習策略生成所述目標任務的笛卡爾空間變阻抗控制的參數，并根據姿態約束生成約束動作；若所述機器人未發生碰撞，則根據所述笛卡爾空間變阻抗控制的參數和約束動作生成第一執行動作，控制所述機器人按照所述第一執行動作執行所述目標任務，否則根據碰撞力大小計算變阻抗控制補償量，利用所述變阻抗控制補償量補償所述笛卡爾空間變阻抗控制的參數的同時，修正所述姿態約束生成補償約束動作，根據所述補償后的笛卡爾空間變阻抗控制的參數和所述補償約束動作生成第二執行動作，并控制所述機器人按照所述第二執行動作執行所述目標任務。

可選地，在本申請的一個實施例中，在利用所述預設強化學習策略生成所述目標任務的笛卡爾空間變阻抗控制的參數之前，還包括：以所述機器人目標任務為輸入，所述目標任務的笛卡爾空間變阻抗控制的參數為輸出，進行仿真訓練，得到所述預設的強化學習策略，其中，所述笛卡爾空間變阻抗控制的參數包括所述機器人目標任務對應的平衡點、剛度矩陣和阻尼矩陣。

可選地，在本申請的一個實施例中，利用預設的強化學習策略生成所述目標任務的笛卡爾空間變阻抗控制的參數，其中，笛卡爾空間變阻抗控制的參數為：