[發(fā)明專(zhuān)利]一種機(jī)械臂目標(biāo)抓取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210163948.3
• 申請(qǐng)日: 2022-02-22
• 公開(kāi)（公告）號(hào): CN114519813A
• 公開(kāi)（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 魯仁全;鐘天達(dá);孟偉;程志鍵;任鴻儒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V20/00
• 分類(lèi)號(hào): G06V20/00;G06V40/20;G06V10/22;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆偉姣

本公開(kāi)提供了一種機(jī)械臂目標(biāo)抓取方法及系統(tǒng)，包括獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集；對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理；基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型；基于訓(xùn)練好的目標(biāo)檢測(cè)模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測(cè)識(shí)別；基于預(yù)測(cè)識(shí)別結(jié)果，根據(jù)逆向運(yùn)動(dòng)學(xué)求解機(jī)械臂運(yùn)動(dòng)姿態(tài)；其中，所述基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型是根據(jù)預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行位置編碼，然后基于位置編碼后的夾取目標(biāo)識(shí)別數(shù)據(jù)集基于自注意力原理進(jìn)行編碼器解碼器的解算得到夾取目標(biāo)識(shí)別數(shù)據(jù)預(yù)測(cè)集；根據(jù)夾取目標(biāo)識(shí)別預(yù)測(cè)集得到最終的目標(biāo)檢測(cè)框。本發(fā)明實(shí)現(xiàn)了機(jī)械臂自主目標(biāo)抓取，目標(biāo)識(shí)別效果好、準(zhǔn)確率高。

技術(shù)領(lǐng)域

本公開(kāi)屬于機(jī)械臂和計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種機(jī)械臂目標(biāo)抓取方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開(kāi)相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

機(jī)械臂是工業(yè)智能制造的重要組成成分，它可以代替人類(lèi)完成大量簡(jiǎn)單和重復(fù)性的工作，尤其在某些危險(xiǎn)的場(chǎng)所更是發(fā)揮著即為重要的作用。

傳統(tǒng)的機(jī)械臂抓取采用人工示教的方式，即通過(guò)工作人員現(xiàn)場(chǎng)確定示教點(diǎn)然后編寫(xiě)程序讓機(jī)械臂按照固定的軌跡運(yùn)作，該方法需要人力成本且效率低，當(dāng)目標(biāo)位置發(fā)生改變或者是有新的抓取目標(biāo)時(shí)，都需要重新進(jìn)行校準(zhǔn)工作。近年來(lái)，隨著深度學(xué)習(xí)的快速發(fā)展，計(jì)算機(jī)視覺(jué)逐漸被應(yīng)用到機(jī)械臂的抓取任務(wù)中，并且已經(jīng)有了許多研究成果，例如基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)工業(yè)機(jī)械臂視覺(jué)控制，目標(biāo)物體視覺(jué)信息采集與預(yù)處理；訓(xùn)練與調(diào)整深度卷積神經(jīng)網(wǎng)絡(luò)模型；驗(yàn)證模型與保存模型。然而卷積神經(jīng)網(wǎng)絡(luò)對(duì)于物體的旋轉(zhuǎn)和種類(lèi)變化效果有限，導(dǎo)致檢測(cè)靈敏度不高，精度下降，無(wú)法滿足工業(yè)高要求下的機(jī)械臂控制要求。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本公開(kāi)提出了一種機(jī)械臂目標(biāo)抓取方法及系統(tǒng)，本公開(kāi)結(jié)合了Transformer模型，實(shí)現(xiàn)了機(jī)械臂自主目標(biāo)抓取方法，該模型結(jié)構(gòu)簡(jiǎn)單，目標(biāo)識(shí)別效果好、準(zhǔn)確率高。

根據(jù)一些實(shí)施例，本公開(kāi)的第一方案提供了一種機(jī)械臂目標(biāo)抓取方法，采用如下技術(shù)方案：

一種機(jī)械臂目標(biāo)抓取方法，包括：

獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集；

對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理；

基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型；

基于訓(xùn)練好的目標(biāo)檢測(cè)模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測(cè)識(shí)別；

基于預(yù)測(cè)識(shí)別結(jié)果，根據(jù)逆向運(yùn)動(dòng)學(xué)求解機(jī)械臂運(yùn)動(dòng)姿態(tài)；

其中，所述基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型是根據(jù)預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行位置編碼，然后基于位置編碼后的夾取目標(biāo)識(shí)別數(shù)據(jù)集基于自注意力原理進(jìn)行編碼器解碼器的解算得到夾取目標(biāo)識(shí)別數(shù)據(jù)預(yù)測(cè)集；根據(jù)夾取目標(biāo)識(shí)別預(yù)測(cè)集得到最終的目標(biāo)檢測(cè)框。

根據(jù)一些實(shí)施例，本公開(kāi)的第二方案提供了一種機(jī)械臂目標(biāo)抓取系統(tǒng)，采用如下技術(shù)方案：

一種機(jī)械臂目標(biāo)抓取系統(tǒng)，包括：

數(shù)據(jù)獲取模塊，用于獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集；

數(shù)據(jù)預(yù)處理模塊，用于對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理；

目標(biāo)模型訓(xùn)練模塊，用于基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型；其中，所述基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測(cè)模型是根據(jù)預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行位置編碼，然后基于位置編碼后的夾取目標(biāo)識(shí)別數(shù)據(jù)集基于自注意力原理進(jìn)行編碼器解碼器的解算得到夾取目標(biāo)識(shí)別數(shù)據(jù)預(yù)測(cè)集；根據(jù)夾取目標(biāo)識(shí)別預(yù)測(cè)集得到最終的目標(biāo)檢測(cè)框；

目標(biāo)預(yù)測(cè)識(shí)別模塊，用于基于訓(xùn)練好的目標(biāo)檢測(cè)模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測(cè)識(shí)別；