[發(fā)明專(zhuān)利]物體交接的機(jī)器學(xué)習(xí)控制

在審

• 申請(qǐng)?zhí)枺?/td>: 202110852773.2
• 申請(qǐng)日: 2021-07-27
• 公開(kāi)（公告）號(hào): CN114004329A
• 公開(kāi)（公告）日: 2022-02-01
• 發(fā)明（設(shè)計(jì)）人: 楊巍;C·J·帕克斯頓;晁于偉;D·福克斯
• 申請(qǐng)（專(zhuān)利權(quán)）人: 輝達(dá)公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08;G06N5/04;G06N20/00;B25J9/16
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

1.一種處理器，包括一個(gè)或更多個(gè)計(jì)算機(jī)，所述一個(gè)或更多個(gè)計(jì)算機(jī)計(jì)算機(jī)包括一個(gè)或更多個(gè)處理器，其用于：

獲取表示手握住物體的點(diǎn)云；

從所述點(diǎn)云的第一部分確定所述物體的姿態(tài)；

從所述點(diǎn)云的第二部分確定所述手的姿態(tài)；

生成允許機(jī)器人抓握所述物體的抓握姿態(tài)集；

至少部分地基于所述手的所述姿態(tài)，從所述抓握姿態(tài)集中選擇不干擾所述手的目標(biāo)抓握姿態(tài)；以及

使所述機(jī)器人執(zhí)行所述目標(biāo)抓握姿態(tài)。

2.如權(quán)利要求1所述的處理器，其中所述手的所述姿態(tài)識(shí)別多個(gè)節(jié)段和關(guān)節(jié)角度。

3.如權(quán)利要求1所述的處理器，其中所述一個(gè)或更多個(gè)處理器：

從深度相機(jī)獲取三維圖像；以及

從所述三維圖像產(chǎn)生所述點(diǎn)云。

4.如權(quán)利要求1所述的處理器，其中：

所述抓握姿態(tài)集是所述機(jī)器人的機(jī)器人手爪的姿態(tài)；以及

所述機(jī)器人手爪有兩個(gè)相對(duì)的手指，所述手指執(zhí)行所述抓握。

5.如權(quán)利要求1所述的處理器，其中所述物體的所述姿態(tài)包括指示所述物體的取向的三個(gè)角度和標(biāo)識(shí)所述物體的位置的信息。

6.如權(quán)利要求1所述的處理器，其中所述機(jī)器人從所述手上拿走所述物體。

7.一種系統(tǒng)，包括：

一個(gè)或更多個(gè)處理器，其耦合至計(jì)算機(jī)可讀介質(zhì)；

存儲(chǔ)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，作為由所述一個(gè)或更多個(gè)處理器執(zhí)行的結(jié)果，所述可執(zhí)行指令使所述系統(tǒng)：

從握住物體的附肢的三維圖像確定所述附肢的姿態(tài)和所述物體的姿態(tài)；

確定允許機(jī)器人手爪抓握所述物體的抓握姿態(tài)集；

從所述抓握姿態(tài)集中選擇不干擾所述附肢的抓握姿態(tài)；以及

執(zhí)行所述抓握姿態(tài)。

8.如權(quán)利要求7所述的系統(tǒng)，其中所述三維圖像是從深度相機(jī)、雷達(dá)圖像、LIDAR圖像或三維醫(yī)學(xué)成像設(shè)備中生成的。

9.如權(quán)利要求7所述的系統(tǒng)，其中作為由所述一個(gè)或更多個(gè)處理器執(zhí)行的結(jié)果，所述可執(zhí)行指令進(jìn)一步使所述系統(tǒng)：

從所述三維圖像生成點(diǎn)云；

識(shí)別表示所述附肢的所述點(diǎn)云的第一部分；以及

識(shí)別表示所述物體的所述點(diǎn)云的第二部分。

10.如權(quán)利要求7所述的系統(tǒng)，其中作為由所述一個(gè)或更多個(gè)處理器執(zhí)行的結(jié)果，所述可執(zhí)行指令進(jìn)一步使所述系統(tǒng)：

從所述三維圖像確定手部姿態(tài)的類(lèi)型；以及

至少部分地基于所述手部姿態(tài)的類(lèi)型來(lái)確定抓握姿態(tài)。

11.如權(quán)利要求7所述的系統(tǒng)，其中作為由所述一個(gè)或更多個(gè)處理器執(zhí)行的結(jié)果，所述可執(zhí)行指令進(jìn)一步使所述系統(tǒng)：

從所述三維圖像生成點(diǎn)云；以及

將所述點(diǎn)云提供給輸出所述抓握姿態(tài)的經(jīng)訓(xùn)練的模型。

12.如權(quán)利要求11所述的系統(tǒng)，其中通過(guò)提供包括點(diǎn)云信息和相應(yīng)的抓握姿態(tài)的地面實(shí)況數(shù)據(jù)來(lái)訓(xùn)練所述訓(xùn)練模型。

13.如權(quán)利要求7所述的系統(tǒng)，其中當(dāng)預(yù)測(cè)所述機(jī)器人手爪在執(zhí)行所述抓握姿態(tài)期間會(huì)接觸所述附肢時(shí)，所述抓握姿態(tài)被確定為干擾所述附肢。

14.一種機(jī)器可讀介質(zhì)，其上存儲(chǔ)有指令集，所述指令集如果由一個(gè)或更多個(gè)處理器執(zhí)行，則使所述一個(gè)或更多個(gè)處理器至少：

獲取附肢握住物體的三維圖像；

從所述三維圖像生成3D模型；

將所述3D模型提供給經(jīng)訓(xùn)練的網(wǎng)絡(luò)，所述經(jīng)訓(xùn)練的網(wǎng)絡(luò)為機(jī)器人手爪產(chǎn)生抓握姿態(tài)，所述抓握姿態(tài)能夠在不接觸所述附肢的情況下抓握所述物體；以及

使所述機(jī)器人手爪執(zhí)行所述抓握姿態(tài)。