[發明專利]一種機械手模型學習方法、裝置、電子設備及存儲介質

有效

• 申請號: 202210257626.5
• 申請日: 2022-03-16
• 公開（公告）號: CN114347043B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 焦家輝;張晟東;王濟宇;李志建;蔡維嘉;李騰;張立華;李偉
• 申請（專利權）人: 季華實驗室
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 佛山市海融科創知識產權代理事務所(普通合伙) 44377
• 代理人: 許家裕

本發明涉及智能機械手技術領域，具體公開了一種機械手模型學習方法、裝置、電子設備及存儲介質，其中，學習方法包括以下步驟：獲取多組供所述機械手模型學習的、關于同一執行任務的專家演示數據；根據所述專家演示數據生成關聯于學習成本函數的專家策略，所述學習成本函數基于模仿所述專家演示數據所需的模仿成本和所述專家演示數據的密集程度建立；最小化所述學習成本函數以獲取最優專家策略；根據所述最優專家策略訓練所述機械手模型；該方法最終獲取的最優專家策略將機械手模型推向專家演示數據分布密集的范圍內模仿專家演示行為，從而使得機械手模型能在盡可能低的模仿成本下精準地模仿完成專家演示行為。

技術領域

本申請涉及智能機械手技術領域，具體而言，涉及一種機械手模型學習方法、裝置、電子設備及存儲介質。

背景技術

目前在生產應用中，機械手通過強化學習可以增強機械手自主交互的通用性，并高效地完成復雜任務；現有的強化學習模型一般通過結合演示數據的學習最優專家行為策略可加快模型收斂，但容易由于專家行為策略存在偏移或僅以最低模仿成本學習而導致最終強化學習模型未能精準地模仿完成專家演示行為。

針對上述問題，目前尚未有有效的技術解決方案。

發明內容

本申請的目的在于提供一種機械手模型學習方法、裝置、電子設備及存儲介質，從而使得機械手模型能在盡可能低的模仿成本下精準地模仿完成專家演示行為。

第一方面，本申請提供了一種機械手模型學習方法，用于訓練機械手模型，所述學習方法包括以下步驟：

獲取多組供所述機械手模型學習的、關于同一執行任務的專家演示數據；

根據所述專家演示數據生成關聯于學習成本函數的專家策略，所述學習成本函數基于模仿所述專家演示數據所需的模仿成本和所述專家演示數據的密集程度建立；

最小化所述學習成本函數以獲取最優專家策略；

根據所述最優專家策略訓練所述機械手模型。

本申請的一種機械手模型學習方法，在獲取專家策略的過程中，將專家演示數據的密集程度設定為判定學習成本的獎懲條件，使得基于模仿成本和專家演示數據的密集程度建立的學習成本函數通過強化學習與受監督的行為模仿成本進行優化反饋，最終獲取的最優專家策略將機械手模型推向專家演示數據分布密集的范圍內模仿專家演示行為，從而使得機械手模型能在盡可能低的模仿成本下精準地模仿完成專家演示行為。

所述的一種機械手模型學習方法，其中，所述獲取多組供所述機械手模型學習的、關于同一執行任務的專家演示數據的步驟包括：

在虛擬現實中重復通過人類專家直接操作機械手或在現實場景中重復通過人類專家教學移動機械手進行關于同一執行任務的作業演示，以收集多組專家演示數據。

在該示例的學習方法中，輸入專家演示數據作為監督學習對象能使機械手模型快速完成執行任務所需動作的學習。

所述的一種機械手模型學習方法，其中，所述根據所述專家演示數據生成關聯于學習成本函數的專家策略的步驟包括：

根據所述專家演示數據生成所述專家策略，所述專家策略用于指導機械手模型生成用于所述模仿專家演示數據的模仿行動；

根據模仿行動獲取所述模仿成本；

根據所述模仿行動對應的專家演示數據在所有專家演示數據中的密集程度獲取強化學習成本；

根據所述模仿成本和所述強化學習成本建立學習成本函數。

在該示例的學習方法中，由于輸入了多組專家演示行為，根據模仿行動在專家演示行為分布的位置，能獲知該模仿行動的優劣，即獲知該模仿行動是否能很好地完成執行任務，故將該模仿行動在專家演示行為分布的位置設定強化學習成本來作為獎懲條件驅使機械手模型強化學習。