[發(fā)明專利]一種基于深度學(xué)習(xí)的機(jī)器人多物體分揀方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110575065.9
• 申請(qǐng)日: 2021-05-26
• 公開(kāi)（公告）號(hào): CN113284179B
• 公開(kāi)（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 黃玲濤;張紅彥;楊勁松
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06T7/10;G06T7/80
• 代理公司: 長(zhǎng)春吉大專利代理有限責(zé)任公司 22201
• 代理人: 朱世林

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的機(jī)器人多物體分揀方法，所述分揀方法具體步驟如下：首先利用旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)任務(wù)場(chǎng)景中目標(biāo)物體的類別、位置及旋轉(zhuǎn)角度；之后通過(guò)實(shí)例分割網(wǎng)絡(luò)分割出物體表面像素，利用相機(jī)標(biāo)定、主成分分析法和歐拉角法對(duì)分割出的像素進(jìn)行處理，獲得目標(biāo)物體的姿態(tài)；然后通過(guò)基于先驗(yàn)知識(shí)的物體分揀次序推理算法獲得物體的分揀次序；最后機(jī)器人根據(jù)獲得的物體分揀次序和位姿，自主完成多物體分揀任務(wù)。本發(fā)明基于深度學(xué)習(xí)的方法實(shí)現(xiàn)了場(chǎng)景中物體位姿和分揀次序的獲取，使機(jī)器人能夠在非結(jié)構(gòu)化場(chǎng)景中對(duì)堆疊的多物體進(jìn)行安全、穩(wěn)定和準(zhǔn)確的分揀操作。

技術(shù)領(lǐng)域

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的機(jī)器人多物體分揀方法，屬于機(jī)器人分揀的技術(shù)領(lǐng)域。

背景技術(shù)

流水線是工業(yè)制造的重要組成，大部分工廠在流水線上的分揀工作依然由人工完成。但是，隨著人工成本的持續(xù)增加，機(jī)器人效率高、穩(wěn)定性高和適應(yīng)各種環(huán)境的優(yōu)點(diǎn)逐漸顯現(xiàn)。因此，許多工廠開(kāi)始通過(guò)“機(jī)器換人”的方式進(jìn)行分揀工作。目前常用示教器示教或離線編程的方式指導(dǎo)機(jī)器人重復(fù)完成規(guī)定的動(dòng)作，從而對(duì)結(jié)構(gòu)化場(chǎng)景中的物體完成抓取或分揀任務(wù)。但是，當(dāng)目標(biāo)物體的類別、位置和形狀發(fā)生變化時(shí)，機(jī)器人需要重新進(jìn)行示教或編程來(lái)完成預(yù)定的目標(biāo)，這極大的降低了生產(chǎn)效率。在這種情況下，研究人員通過(guò)將機(jī)器人與視覺(jué)傳感器相結(jié)合的方式使機(jī)器人的感知能力與環(huán)境理解能力增加，從而能夠適應(yīng)更加復(fù)雜的分揀任務(wù)。相較于傳統(tǒng)的分揀系統(tǒng)，融合了視覺(jué)的機(jī)器人分揀系統(tǒng)，不僅能夠識(shí)別物體的類別，還能夠精確定位物體，具有更加廣泛的應(yīng)用前景。

隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人分揀系統(tǒng)被應(yīng)用到更多的場(chǎng)景中，例如垃圾分揀、物流倉(cāng)儲(chǔ)和深海勘探等。機(jī)器人分揀系統(tǒng)在面對(duì)這些非結(jié)構(gòu)化場(chǎng)景時(shí)，不僅要實(shí)現(xiàn)對(duì)目標(biāo)物體的識(shí)別與定位，還要理解物體的空間關(guān)系。現(xiàn)有的分揀系統(tǒng)一般通過(guò)目標(biāo)檢測(cè)技術(shù)或點(diǎn)云匹配的方式對(duì)環(huán)境中的目標(biāo)物體進(jìn)行識(shí)別與定位。這在面對(duì)存在堆疊、遮擋情況的多種物體分揀的情景時(shí)，不能完成預(yù)定的目標(biāo)，甚至由于對(duì)物體的上下文關(guān)系理解不足，導(dǎo)致抓取過(guò)程中損壞了目標(biāo)物體。因此，發(fā)明一種可以對(duì)非結(jié)構(gòu)化場(chǎng)景中隨意擺放的多物體進(jìn)行分揀的方法具有很重要的意義。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)的多物體分揀方法，使機(jī)器人能夠自主的對(duì)堆疊的多物體實(shí)現(xiàn)準(zhǔn)確、安全和高效的分揀。本發(fā)明通過(guò)構(gòu)建的旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型對(duì)復(fù)雜分揀場(chǎng)景中的目標(biāo)物體進(jìn)行了類別、位置和旋轉(zhuǎn)角度的識(shí)別。利用實(shí)例分割模型從場(chǎng)景中獲取了物體的像素信息，并進(jìn)一步轉(zhuǎn)換為了點(diǎn)云。然后采用主成分分析法對(duì)物體進(jìn)行了主法向的估計(jì)，并結(jié)合旋轉(zhuǎn)角度解算出了各個(gè)物體的位姿。最后以物體表面點(diǎn)云變化情況作為先驗(yàn)知識(shí)對(duì)場(chǎng)景中物體的分揀順序進(jìn)行了推理，使得機(jī)器人能夠自主、穩(wěn)定和安全地對(duì)場(chǎng)景中的多個(gè)未知物體進(jìn)行分揀。

本發(fā)明所要解決的問(wèn)題是由以下技術(shù)方案實(shí)現(xiàn)的：

一種基于深度學(xué)習(xí)的機(jī)器人多物體分揀方法，所述分揀方法具體步驟如下：

步驟S10，利用旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)來(lái)獲取場(chǎng)景中目標(biāo)物體的包括類別、位置和旋轉(zhuǎn)角度等信息；

步驟S20，通過(guò)實(shí)例分割網(wǎng)絡(luò)分割出目標(biāo)物體表面像素；

步驟S30，利用相機(jī)標(biāo)定將物體表面像素轉(zhuǎn)化為點(diǎn)云，并運(yùn)用主成分分析法對(duì)物體表面進(jìn)行法向量估計(jì)；

步驟S40，結(jié)合物體的旋轉(zhuǎn)角度與法向量，采用歐拉角法估計(jì)目標(biāo)物體的抓取姿態(tài)；

步驟S50，利用基于先驗(yàn)知識(shí)的物體分揀次序推理算法獲得目標(biāo)物體的分揀次序；

步驟S60，將物體的位姿信息與分揀次序由視覺(jué)處理端傳輸給機(jī)器人控制端，指導(dǎo)機(jī)器人自主完成多物體的分揀任務(wù)。

優(yōu)選的是，所述步驟S10的具體過(guò)程如下：

步驟S101，將Kinect相機(jī)安裝在工作平臺(tái)的一側(cè)，采集多個(gè)目標(biāo)物體在不同位置、姿態(tài)和堆疊情況下的圖像；