[發(fā)明專利]抓取機(jī)器人及其控制方法和定位模型訓(xùn)練方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110302170.5
• 申請(qǐng)日: 2021-03-22
• 公開（公告）號(hào): CN112975985B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 劉冰;王正;王子芃;耿嘉;劉俊;丁有爽;邵天蘭
• 申請(qǐng)（專利權(quán)）人: 梅卡曼德（北京）機(jī)器人科技有限公司
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;G06T1/00;G06T7/70
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 歐陽(yáng)高鳳

本發(fā)明公開了一種抓取機(jī)器人及其控制方法和定位模型訓(xùn)練方法，該訓(xùn)練方法包括以下步驟：獲取第一訓(xùn)練圖片集，其中，第一訓(xùn)練圖片集中包括多個(gè)第一訓(xùn)練圖片；對(duì)第一訓(xùn)練圖片中的可抓取物體進(jìn)行定位標(biāo)注，得到第二訓(xùn)練圖片集，其中，第二訓(xùn)練圖片集中包括多個(gè)標(biāo)注后的第一訓(xùn)練圖片；對(duì)第二訓(xùn)練圖片集中的至少一個(gè)標(biāo)注后的第一訓(xùn)練圖片進(jìn)行倍增處理，得到第三訓(xùn)練圖片集，其中，第三訓(xùn)練圖片集中包括至少一個(gè)倍增圖片；根據(jù)第二訓(xùn)練圖片集和第三訓(xùn)練圖片集，對(duì)預(yù)設(shè)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到用于定位可抓取物體的定位模型。該方法可通過較少的數(shù)據(jù)量實(shí)現(xiàn)各種場(chǎng)景內(nèi)物體的像素級(jí)精確定位，并可實(shí)現(xiàn)各種場(chǎng)景內(nèi)堆疊物體中的可抓取物體的準(zhǔn)確識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種定位模型訓(xùn)練方法、一種抓取機(jī)器人的控制方法、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、一種電子設(shè)備和一種抓取機(jī)器人。

背景技術(shù)

視覺引導(dǎo)機(jī)器人的抓取過程可分為兩個(gè)主要步驟：1)在2D圖片中給出物體精確的像素級(jí)定位，2)將上述定位映射回3D點(diǎn)云場(chǎng)景中，通過匹配算法給出被抓取物體的精確位姿。步驟1)中的像素級(jí)精確定位類似于圖片實(shí)例分割問題，其主要技術(shù)指標(biāo)為：準(zhǔn)確率、召回率。常見的圖片實(shí)例分割技術(shù)方法主要有：Mask-RCNN、CenterMask、SOLO、BlendMask等基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法，然而上述實(shí)例分割技術(shù)一般需要較多的訓(xùn)練數(shù)據(jù)，導(dǎo)致其在視覺引導(dǎo)抓取中具有局限性。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。為此，本發(fā)明的第一個(gè)目的在于提出一種定位模型訓(xùn)練方法，該方法可通過較少的數(shù)據(jù)量實(shí)現(xiàn)各種場(chǎng)景內(nèi)物體的像素級(jí)精確定位，并可實(shí)現(xiàn)各種場(chǎng)景內(nèi)堆疊物體中的可抓取物體的準(zhǔn)確識(shí)別。

本發(fā)明的第二個(gè)目的在于提出一種抓取機(jī)器人的控制方法。

本發(fā)明的第三個(gè)目的在于提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第四個(gè)目的在于提出一種電子設(shè)備。

本發(fā)明的第五個(gè)目的在于提出一種抓取機(jī)器人。

為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出了一種定位模型訓(xùn)練方法，包括以下步驟：獲取第一訓(xùn)練圖片集，其中，所述第一訓(xùn)練圖片集中包括多個(gè)第一訓(xùn)練圖片；對(duì)所述第一訓(xùn)練圖片中的可抓取物體進(jìn)行定位標(biāo)注，得到第二訓(xùn)練圖片集，其中，所述第二訓(xùn)練圖片集中包括多個(gè)標(biāo)注后的第一訓(xùn)練圖片；對(duì)所述第二訓(xùn)練圖片集中的至少一個(gè)標(biāo)注后的第一訓(xùn)練圖片進(jìn)行倍增處理，得到第三訓(xùn)練圖片集，其中，所述第三訓(xùn)練圖片集中包括至少一個(gè)倍增圖片；根據(jù)所述第二訓(xùn)練圖片集和所述第三訓(xùn)練圖片集，對(duì)預(yù)設(shè)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到用于定位可抓取物體的定位模型。

根據(jù)本發(fā)明實(shí)施例的定位模型訓(xùn)練方法，通過獲取第一訓(xùn)練圖片集，并對(duì)第一訓(xùn)練圖片集中第一訓(xùn)練圖片中的可抓取物體進(jìn)行定位標(biāo)注，得到第二訓(xùn)練圖片集，然后對(duì)第二訓(xùn)練圖片集中的至少一個(gè)標(biāo)注后的第一訓(xùn)練圖片進(jìn)行倍增處理，得到第三訓(xùn)練圖片集，再根據(jù)第二訓(xùn)練圖片集和第三訓(xùn)練圖片集，對(duì)預(yù)設(shè)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到用于定位可抓取物體的定位模型，該方法可通過較少的數(shù)據(jù)量實(shí)現(xiàn)各種場(chǎng)景內(nèi)物體的像素級(jí)精確定位，并可實(shí)現(xiàn)各種場(chǎng)景內(nèi)堆疊物體中的可抓取物體的準(zhǔn)確識(shí)別。

為達(dá)到上述目的，本發(fā)明第二方面實(shí)施例提出了一種抓取機(jī)器人的控制方法，包括以下步驟：采集抓取場(chǎng)景圖片；利用預(yù)先訓(xùn)練好的定位模型對(duì)所述抓取場(chǎng)景圖片中的可抓取物體進(jìn)行定位，其中，所述預(yù)先訓(xùn)練好的定位模型采用上述所述的定位模型訓(xùn)練方法訓(xùn)練得到；根據(jù)定位結(jié)果控制所述抓取機(jī)器人對(duì)所述可抓取物體進(jìn)行抓取操作。

根據(jù)本發(fā)明實(shí)施例的抓取機(jī)器人的控制方法，通過預(yù)先訓(xùn)練好的定位模型對(duì)抓取場(chǎng)景圖片中的可抓取物體進(jìn)行定位，可實(shí)現(xiàn)可抓取物體的準(zhǔn)確識(shí)別。

為達(dá)到上述目的，本發(fā)明第三方面實(shí)施例提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述所述的定位模型的訓(xùn)練方法，或者，上述所述的抓取機(jī)器人的控制方法。