[發(fā)明專利]一種機(jī)械手模型學(xué)習(xí)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210257626.5
• 申請(qǐng)日: 2022-03-16
• 公開（公告）號(hào): CN114347043B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 焦家輝;張晟東;王濟(jì)宇;李志建;蔡維嘉;李騰;張立華;李偉
• 申請(qǐng)（專利權(quán)）人: 季華實(shí)驗(yàn)室
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16
• 代理公司: 佛山市海融科創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44377
• 代理人: 許家裕

1.一種機(jī)械手模型學(xué)習(xí)方法，用于訓(xùn)練機(jī)械手模型，其特征在于，所述學(xué)習(xí)方法包括以下步驟：

獲取多組供所述機(jī)械手模型學(xué)習(xí)的、關(guān)于同一執(zhí)行任務(wù)的專家演示數(shù)據(jù)；

根據(jù)所述專家演示數(shù)據(jù)生成關(guān)聯(lián)于學(xué)習(xí)成本函數(shù)的專家策略，所述學(xué)習(xí)成本函數(shù)基于模仿所述專家演示數(shù)據(jù)所需的模仿成本和所述專家演示數(shù)據(jù)的密集程度建立，所述學(xué)習(xí)成本函數(shù)為，滿足：

，

其中，π^*為專家策略，π為機(jī)械手策略，表示動(dòng)作a滿足在狀態(tài)s條件下的策略π，E為期望，表示狀態(tài)s滿足由專家策略為π^*引起的狀態(tài)分布d_π*， 表示狀態(tài)s滿足由策略π引起的狀態(tài)分布d_π，表示狀態(tài)s下執(zhí)行策略π，表示狀態(tài)s下執(zhí)行專家策略為π^*，表示兩個(gè)策略之間的整體變化距離，為附加成本，滿足：

，

其中，表示策略π滿足后驗(yàn)概率分布，Var為隨機(jī)變量方差，s為狀態(tài)，a為動(dòng)作，

為所述基于模仿所述專家演示數(shù)據(jù)所需的模仿成本，為強(qiáng)化學(xué)習(xí)成本，用于表征所述專家演示數(shù)據(jù)的密集程；

最小化所述學(xué)習(xí)成本函數(shù)以獲取最優(yōu)專家策略；

根據(jù)所述最優(yōu)專家策略訓(xùn)練所述機(jī)械手模型；

所述根據(jù)所述專家演示數(shù)據(jù)生成關(guān)聯(lián)于學(xué)習(xí)成本函數(shù)的專家策略的步驟包括：

根據(jù)所述專家演示數(shù)據(jù)生成所述專家策略，所述專家策略用于指導(dǎo)機(jī)械手模型生成用于所述模仿專家演示數(shù)據(jù)的模仿行動(dòng)；

根據(jù)模仿行動(dòng)獲取所述模仿成本；

根據(jù)所述模仿行動(dòng)對(duì)應(yīng)的專家演示數(shù)據(jù)在所有專家演示數(shù)據(jù)中的密集程度獲取強(qiáng)化學(xué)習(xí)成本；

根據(jù)所述模仿成本和所述強(qiáng)化學(xué)習(xí)成本建立學(xué)習(xí)成本函數(shù)。

2.根據(jù)權(quán)利要求1所述的一種機(jī)械手模型學(xué)習(xí)方法，其特征在于，所述獲取多組供所述機(jī)械手模型學(xué)習(xí)的、關(guān)于同一執(zhí)行任務(wù)的專家演示數(shù)據(jù)的步驟包括：

在虛擬現(xiàn)實(shí)中重復(fù)通過人類專家直接操作機(jī)械手或在現(xiàn)實(shí)場(chǎng)景中重復(fù)通過人類專家教學(xué)移動(dòng)機(jī)械手進(jìn)行關(guān)于同一執(zhí)行任務(wù)的作業(yè)演示，以收集多組專家演示數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種機(jī)械手模型學(xué)習(xí)方法，其特征在于，所述最小化所述學(xué)習(xí)成本函數(shù)以獲取最優(yōu)專家策略的步驟包括：

根據(jù)多組所述專家演示數(shù)據(jù)訓(xùn)練所述專家策略，使所述學(xué)習(xí)成本函數(shù)中的模仿成本最小化收斂；

最小化所述強(qiáng)化學(xué)習(xí)成本以獲取最優(yōu)專家策略。

4.根據(jù)權(quán)利要求3所述的一種機(jī)械手模型學(xué)習(xí)方法，其特征在于，所述根據(jù)多組所述專家演示數(shù)據(jù)訓(xùn)練所述專家策略，使所述學(xué)習(xí)成本函數(shù)中的模仿成本最小化收斂的步驟包括：

抽取部分所述專家演示數(shù)據(jù)訓(xùn)練所述專家策略，使所述學(xué)習(xí)成本函數(shù)中的模仿成本收斂；

根據(jù)所述專家演示數(shù)據(jù)梯度更新所述學(xué)習(xí)成本函數(shù)，使收斂后的模仿成本最小化收斂。

5.根據(jù)權(quán)利要求1所述的一種機(jī)械手模型學(xué)習(xí)方法，其特征在于，所述學(xué)習(xí)方法還包括執(zhí)行于所述獲取多組供所述機(jī)械手模型學(xué)習(xí)的、關(guān)于同一執(zhí)行任務(wù)的專家演示數(shù)據(jù)的步驟之前的步驟：

根據(jù)作業(yè)場(chǎng)景的圖像數(shù)據(jù)特征和機(jī)載傳感器數(shù)據(jù)建立所述機(jī)械手模型訓(xùn)練用的狀態(tài)空間。