[發(fā)明專利]一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)機(jī)械臂視覺(jué)控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710021710.6
• 申請(qǐng)日: 2017-01-12
• 公開(kāi)（公告）號(hào): CN106874914B
• 公開(kāi)（公告）日: 2019-05-14
• 發(fā)明（設(shè)計(jì)）人: 皮思遠(yuǎn);肖南峰
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62;G06K9/66;G06N3/08;B25J9/16
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 羅觀祥

本發(fā)明公開(kāi)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)機(jī)械臂視覺(jué)控制方法，包括步驟：1)目標(biāo)物體視覺(jué)信息采集與預(yù)處理；2)訓(xùn)練與調(diào)整深度卷積神經(jīng)網(wǎng)絡(luò)模型；3)驗(yàn)證模型與保存模型。本發(fā)明結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)提取不同姿態(tài)的目標(biāo)物體的理想抓取位置，提升了系統(tǒng)能夠適用的范圍，從而克服了傳統(tǒng)視覺(jué)控制發(fā)放識(shí)別特定目標(biāo)物體差問(wèn)題，有效簡(jiǎn)化工業(yè)機(jī)械臂的使用難度，為工業(yè)機(jī)械臂控制提供新的方法，具備良好的擴(kuò)展性。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)機(jī)械臂領(lǐng)域，尤其是指一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)機(jī)械臂視覺(jué)控制方法。

背景技術(shù)

在工業(yè)生產(chǎn)中，工業(yè)機(jī)械臂可以替代人力進(jìn)行簡(jiǎn)單和重復(fù)性的工作，例如：拾取、組裝、焊接、包裝、敲打、剪切、打磨、拖拽等生產(chǎn)操作。特別是在危險(xiǎn)、惡劣的作業(yè)環(huán)境下使用機(jī)器人技術(shù)降低潛在的安全風(fēng)險(xiǎn)。研究機(jī)器人技術(shù)是實(shí)現(xiàn)智能制造，降低企業(yè)生產(chǎn)成本的重要的途徑。

“運(yùn)動(dòng)規(guī)劃”和“任務(wù)確定”是工業(yè)機(jī)械臂的關(guān)鍵的兩類技術(shù)。“運(yùn)動(dòng)規(guī)劃”可以分為路徑規(guī)劃(path planning)和軌跡生成(trajectory generation)兩部分。路徑規(guī)劃的目的是為工業(yè)機(jī)械臂找到一系列無(wú)干涉、并能成功完成任務(wù)的路徑點(diǎn)，這些路徑點(diǎn)可以是三維空間中的坐標(biāo)，或者關(guān)節(jié)角度，路徑規(guī)劃即為工業(yè)機(jī)械臂確定工作過(guò)程中需要經(jīng)過(guò)的特定位置的集合；軌跡生成負(fù)責(zé)為工業(yè)機(jī)械臂生成一系列在運(yùn)動(dòng)上連續(xù)的參考點(diǎn)和附加信息，軌跡生成即確定工業(yè)機(jī)械臂以何種方式、速度通過(guò)路徑規(guī)劃生成的路徑點(diǎn)集合。

“任務(wù)確定”是研究和解決工業(yè)機(jī)械臂如何識(shí)別目標(biāo)物體。工業(yè)機(jī)械臂需要能夠識(shí)別目標(biāo)物體，然后才能進(jìn)行后續(xù)生產(chǎn)操作。目前這部分存在很大缺陷，現(xiàn)有的工業(yè)機(jī)械臂需要要求物件出現(xiàn)在固定的空間三維坐標(biāo)位置上。工業(yè)機(jī)械臂再?gòu)倪@個(gè)位置針對(duì)不同作業(yè)對(duì)物件進(jìn)行具體操作。

目前在傳統(tǒng)工業(yè)機(jī)器人上的控制技術(shù)(正逆運(yùn)動(dòng)學(xué)，正逆動(dòng)力學(xué)，軌跡規(guī)劃，參數(shù)辨識(shí)，誤差補(bǔ)償?shù)?在理論上已經(jīng)非常成熟了，只要給定目標(biāo)坐標(biāo)，就能配合多種方法進(jìn)行軌跡規(guī)劃獲取一條適當(dāng)?shù)倪\(yùn)動(dòng)路徑和運(yùn)動(dòng)過(guò)程中的動(dòng)力輸出配置。

目前生產(chǎn)上的工業(yè)機(jī)械臂使用方式有以下幾種：

1.拖動(dòng)示教：即通過(guò)拖動(dòng)工業(yè)機(jī)器人來(lái)教會(huì)工業(yè)機(jī)器人按照固定的軌跡進(jìn)行工作，使用上十分簡(jiǎn)單，但是面對(duì)復(fù)雜工作不能很好的進(jìn)行規(guī)劃，而且這種拖動(dòng)方式需要人來(lái)進(jìn)行，工業(yè)機(jī)器人存在一定危險(xiǎn)性。

2.外部示教：利用手：勢(shì)傳感器來(lái)操作機(jī)器人，讓機(jī)器人模仿手的運(yùn)動(dòng)。但是問(wèn)題在于這些傳感器的精度不高，短期內(nèi)無(wú)法用于工業(yè)生產(chǎn)。

3.語(yǔ)音示教：利用預(yù)定義的語(yǔ)音指令來(lái)操縱工業(yè)機(jī)器人運(yùn)動(dòng)，存在問(wèn)題是可操作精度差，不能很好的進(jìn)行精細(xì)的工作。

4.編程示教：即利用工業(yè)機(jī)器人的示教盒進(jìn)行編程控制工業(yè)機(jī)器人的運(yùn)轉(zhuǎn)，這需要工廠中有熟悉機(jī)器人的使用人員。

以上的4種工業(yè)機(jī)器人使用方式都存在的缺點(diǎn)的是，工業(yè)機(jī)器人需要按照預(yù)定義的程序運(yùn)轉(zhuǎn)，需要專業(yè)人員進(jìn)行維護(hù)，并且應(yīng)用到新任務(wù)中的復(fù)雜度高。部署和實(shí)施上的困難在很大程度上限制了機(jī)器人產(chǎn)業(yè)的反展。給定目標(biāo)物體信息，工業(yè)機(jī)械臂便可完成相應(yīng)生產(chǎn)操作，但是如何確定目標(biāo)物體是應(yīng)用的一大難題。因此亟需一種智能的能夠自動(dòng)識(shí)別目標(biāo)物體的算法用于控制工業(yè)機(jī)械臂，降低工業(yè)機(jī)械臂的應(yīng)用成本。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有工業(yè)機(jī)械臂視覺(jué)控制技術(shù)自動(dòng)化水平與智能化層度低，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)機(jī)械臂視覺(jué)控制方法，該方法考慮了工業(yè)機(jī)械臂相對(duì)穩(wěn)定的室內(nèi)工作環(huán)境要求，克服通過(guò)重復(fù)性編程控制工業(yè)機(jī)器人的缺點(diǎn)；結(jié)合機(jī)器學(xué)習(xí)與機(jī)器視覺(jué)，利用仿生物視覺(jué)方法的深度卷積神經(jīng)網(wǎng)絡(luò)的提取目標(biāo)零件的能力，提升工業(yè)機(jī)械臂視覺(jué)系統(tǒng)識(shí)別目標(biāo)零件的準(zhǔn)確度，優(yōu)化工業(yè)機(jī)械臂的使用和加速工業(yè)機(jī)械臂在生產(chǎn)中的應(yīng)用。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的工業(yè)機(jī)械臂視覺(jué)控制方法，具體包含以下步驟：