[發(fā)明專利]一種基于計(jì)算機(jī)視覺(jué)的磚垛智能裝車系統(tǒng)及其裝車方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110561202.3
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113192058B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 王衛(wèi)東;孫美潔;范譽(yù)瀚;呂子奇;涂亞楠;徐志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)礦業(yè)大學(xué)（北京）
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/70;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 成都方圓聿聯(lián)專利代理事務(wù)所(普通合伙) 51241
• 代理人: 宋紅賓

本發(fā)明公開了一種基于計(jì)算機(jī)視覺(jué)的磚垛智能裝車系統(tǒng)及其裝車方法，包括圖像采集模塊、視覺(jué)識(shí)別模塊、控制模塊、執(zhí)行模塊。圖像采集模塊通過(guò)工業(yè)相機(jī)采集磚垛和車廂的實(shí)時(shí)圖像，通過(guò)采集的圖像，視覺(jué)識(shí)別模塊獲取磚垛和車廂的位姿信息，控制模塊處理實(shí)時(shí)的位姿信息，控制執(zhí)行模塊逐層抓取磚垛放置到貨車車廂中。本發(fā)明通過(guò)視覺(jué)識(shí)別模塊對(duì)磚垛和車廂位置進(jìn)行精準(zhǔn)識(shí)別，控制執(zhí)行模塊逐層將磚垛抓取放置到車廂的預(yù)定位置，該方法解決了現(xiàn)有技術(shù)中以人工進(jìn)行磚垛的搬運(yùn)裝車時(shí)，存在效率低下、裝車成本高、工人勞動(dòng)強(qiáng)度大的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及磚垛運(yùn)輸領(lǐng)域，尤其是一種基于計(jì)算機(jī)視覺(jué)的磚垛智能裝車系統(tǒng)及其裝車方法。

技術(shù)背景

磚塊經(jīng)磚窯燒制完后需進(jìn)行裝車，由于磚塊在燒制過(guò)程中因高溫氣流的影響會(huì)發(fā)生一定角度的偏移,一些磚塊位姿發(fā)生變化,導(dǎo)致傳統(tǒng)自動(dòng)化設(shè)備無(wú)法對(duì)其進(jìn)行準(zhǔn)確抓取完成裝車任務(wù),目前主要是通過(guò)人工方式進(jìn)行卸磚和裝車。在卸磚過(guò)程中存在勞動(dòng)強(qiáng)度大、高溫、灰塵重等問(wèn)題,嚴(yán)重影響勞動(dòng)者的安全和健康,同時(shí)也大大降低了磚塊的生產(chǎn)效率。

隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)理論的不斷發(fā)展，利用工業(yè)相機(jī)，使各種工業(yè)環(huán)節(jié)的實(shí)現(xiàn)智能化變成現(xiàn)實(shí)。因此將通過(guò)計(jì)算機(jī)視覺(jué)的方法對(duì)磚垛進(jìn)行識(shí)別和定位,并獲取磚垛位姿信息,從而引導(dǎo)夾取機(jī)構(gòu)對(duì)磚垛進(jìn)行抓取,實(shí)現(xiàn)磚垛的自動(dòng)化裝車。

發(fā)明內(nèi)容

為了消除人工進(jìn)行磚垛裝車過(guò)程中的安全隱患，提高磚垛裝車的效率。本發(fā)明提供了一種基于計(jì)算機(jī)視覺(jué)的智能磚垛裝車方法。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種基于計(jì)算機(jī)視覺(jué)的磚垛智能裝車系統(tǒng)，包括：

圖像采集模塊，包括布置在磚垛上方的輔助光源和工業(yè)相機(jī)，用于實(shí)時(shí)地采集磚垛和貨車車廂的圖像，并將數(shù)據(jù)傳輸?shù)揭曈X(jué)識(shí)別模塊。

視覺(jué)識(shí)別模塊，對(duì)采集的圖像進(jìn)行標(biāo)注，建立訓(xùn)練樣本集，基于深度學(xué)習(xí)算法構(gòu)建視覺(jué)檢測(cè)模型。訓(xùn)練完成后，將實(shí)時(shí)采集的圖像輸入視覺(jué)識(shí)別模塊，獲取磚垛和車廂的準(zhǔn)確位姿信息。

控制模塊，將磚垛和車廂的位姿信息，轉(zhuǎn)換為PLC可識(shí)別的三維坐標(biāo)信息，基于預(yù)先設(shè)計(jì)的抓取邏輯，控制執(zhí)行模塊逐層逐垛抓取磚垛放置到車廂中的預(yù)定位置。

執(zhí)行模塊，包括支撐機(jī)構(gòu)、傳動(dòng)機(jī)構(gòu)、旋轉(zhuǎn)機(jī)構(gòu)、升降機(jī)構(gòu)、夾取機(jī)構(gòu)，支撐機(jī)構(gòu)上裝有紅外線檢測(cè)器。

進(jìn)一步地，所述的圖像采集模塊，即在支撐機(jī)構(gòu)上方架設(shè)的輔助光源和工業(yè)相機(jī)，根據(jù)實(shí)時(shí)的環(huán)境光照強(qiáng)度，自動(dòng)調(diào)節(jié)輔助光源，確保采集圖像的亮度保持一致。采用高清工業(yè)相機(jī)采集磚垛和貨車車廂的圖像，通過(guò)GigE或USB數(shù)據(jù)線傳輸圖像。

進(jìn)一步地，所述的圖像采集，在于采集各個(gè)層數(shù)(高度)的磚垛圖像，以及各種位姿的車廂圖像，打上標(biāo)簽后分類放置圖像，建立初始訓(xùn)練樣本集。

進(jìn)一步地，所述的磚垛圖像訓(xùn)練樣本集構(gòu)建方法，在于利用數(shù)據(jù)增強(qiáng)技術(shù)，對(duì)初始訓(xùn)練樣本集進(jìn)行旋轉(zhuǎn)、比例縮放、裁剪、移位、顏色變換、添加噪聲處理，對(duì)初始訓(xùn)練樣本集和基于數(shù)據(jù)增強(qiáng)得到的磚垛圖像進(jìn)行分類畫框標(biāo)注，建立訓(xùn)練樣本集。

進(jìn)一步地，所述的深度學(xué)習(xí)算法，在于基于vgg，resnet,inception等特征提取網(wǎng)絡(luò)，結(jié)合注意力機(jī)制與多尺度融合等優(yōu)化方法，提取磚垛圖像的位姿特征信息。

其中，所述的注意力機(jī)制，在于引入空間域注意力、通道注意力、混合域注意力、位置注意力等特征提取方法，重新分配特征信息的權(quán)重，優(yōu)化特征提取網(wǎng)絡(luò)。

其中，所述的多尺度融合方法，在于構(gòu)建多尺度輸入、多尺度特征融合、多尺度特征預(yù)測(cè)等網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)對(duì)于多尺度特征信息的提取能力。

進(jìn)一步地，結(jié)合所述的訓(xùn)練樣本集構(gòu)建方法和特征提取網(wǎng)絡(luò)及優(yōu)化方法，將訓(xùn)練樣本集作為輸入源，建立基于YOLO和Faster RCNN等目標(biāo)檢測(cè)網(wǎng)絡(luò)的視覺(jué)檢測(cè)模型。