[發(fā)明專利]一種基于雙目視覺的塔吊自動(dòng)裝載方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010896334.7
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112194011A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 虞文杰;張述堅(jiān);葉嵩;王丁軍;李元琪;郭毓;葉茂;郭健;王璟;劉陽(yáng);李林
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué);中建八局第三建設(shè)有限公司
• 主分類號(hào): B66C13/46
• 分類號(hào): B66C13/46;B66C13/16;B66C13/48;G06T1/00;G06T7/11;G06T7/13;G06T7/136;G06T7/60;G06T7/66;G06T7/77
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 張祥

本發(fā)明公開了一種基于雙目視覺的塔吊自動(dòng)裝載方法，利用雙目相機(jī)采集標(biāo)志物圖像，并進(jìn)行圖像處理，采用圓形度的方式篩選出所有橢圓輪廓，接著依次找出橢圓輪廓的內(nèi)嵌輪廓，利用設(shè)計(jì)的十字形模板進(jìn)行形狀匹配，確定出標(biāo)志板所在區(qū)域，計(jì)算出橢圓圓心坐標(biāo)，之后根據(jù)雙目測(cè)距原理計(jì)算出標(biāo)志板中心在基座坐標(biāo)系下的三維坐標(biāo)，塔吊控制吊鉤下降，根據(jù)力覺傳感器的反饋值判斷貨物是否成功起吊，并完成自動(dòng)裝載。本發(fā)明采用雙目視覺，具有穩(wěn)定性好，準(zhǔn)確度高的特點(diǎn)，同時(shí)基于標(biāo)志物進(jìn)行識(shí)別和定位，具有識(shí)別難度小、時(shí)間短、精度高等優(yōu)勢(shì)。

技術(shù)領(lǐng)域

本發(fā)明設(shè)計(jì)圖像信息處理和塔吊裝載領(lǐng)域，具體涉及一種基于雙目視覺的塔吊自動(dòng)裝載方法。

背景技術(shù)

在塔式吊車貨物吊裝領(lǐng)域，現(xiàn)階段主要靠人為指揮以及憑借塔吊司機(jī)的經(jīng)驗(yàn)進(jìn)行貨物的吊運(yùn)，這種方式存在人工操作工作量大，定位不準(zhǔn)，需要反復(fù)調(diào)節(jié)才能使吊鉤到達(dá)貨物的起吊點(diǎn)等問(wèn)題，因此研究塔式吊車貨物快速定位已成為亟需解決的問(wèn)題。機(jī)器視覺技術(shù)是利用相機(jī)代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量，也是目前作為前沿的研究熱點(diǎn)。機(jī)器視覺對(duì)目標(biāo)的測(cè)量主要包括單目視覺測(cè)量方法和雙目視覺測(cè)量方法。單目視覺測(cè)量需要相機(jī)從各個(gè)視角對(duì)目標(biāo)進(jìn)行拍攝，根據(jù)三角測(cè)距原理得到目標(biāo)的三維坐標(biāo)，其優(yōu)點(diǎn)是成本低、便于安裝，但是只能得到目標(biāo)的相對(duì)位置，其測(cè)量誤差與距離成正比，因此不適合應(yīng)用于高空作業(yè)領(lǐng)域。在目標(biāo)識(shí)別領(lǐng)域，以Faster-RCNN和Yolo算法為代表的的深度學(xué)習(xí)算法得到了廣泛的發(fā)展與應(yīng)用，但是其需要利用數(shù)量龐大的樣本進(jìn)行訓(xùn)練，算法復(fù)雜度高，實(shí)時(shí)性差，對(duì)硬件的要求較高，且不能識(shí)別出目標(biāo)的細(xì)節(jié)部分。若將其應(yīng)用到塔吊貨物裝載系統(tǒng)中，可能存在不能準(zhǔn)確定位出貨物的三維位置信息等問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于雙目視覺的塔吊自動(dòng)裝載方法，可以解決塔式吊車高空作業(yè)時(shí)的貨物定位與裝載問(wèn)題，提高作業(yè)效率。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于雙目視覺的塔吊自動(dòng)裝載方法，包括以下步驟：

步驟1：初始化相機(jī)內(nèi)外參數(shù)，將標(biāo)志板固定在鋼絲繩上，確保標(biāo)志板中心在起吊點(diǎn)正下方；

步驟2：顯示相機(jī)拍攝頁(yè)面，獲取所述拍攝界面的圖像，根據(jù)所述圖像確定所述拍攝界面上包括待吊裝貨物；

步驟3：對(duì)采集到的左右目圖像分別進(jìn)行圖像預(yù)處理，得到二值化圖像；

步驟4：采用opencv的findcontours函數(shù)提取二值化圖像的所有輪廓，采用圓形度的方式初步篩選出所有橢圓輪廓，接著依次找出橢圓輪廓的內(nèi)嵌輪廓，利用十字形模板進(jìn)行形狀匹配，確定出標(biāo)志板所在區(qū)域；

步驟5：基于最小二乘方法擬合出橢圓的圓心坐標(biāo)，利用檢測(cè)出的感興趣區(qū)域輪廓和橢圓參數(shù)方程，建立目標(biāo)度量函數(shù)，基于最小二乘方法計(jì)算出最優(yōu)的橢圓參數(shù)以及橢圓中心坐標(biāo)；

步驟6：根據(jù)雙目測(cè)距原理計(jì)算出標(biāo)志板中心在基座坐標(biāo)系下的三維坐標(biāo)P_b(X_b,Y_b,Z_b)，根據(jù)該坐標(biāo)控制塔吊起重臂和小車運(yùn)動(dòng)使吊鉤位于起吊點(diǎn)正上方；

步驟7：控制吊鉤下降到P_b(X_b,Y_b,Z_b)，此時(shí)吊鉤位于起吊點(diǎn)正下方，控制吊鉤上升高度H₀，根據(jù)小車上的力傳感器判斷貨物是否成功起吊；

步驟8：判斷起吊次數(shù)N是否大于允許的最大次數(shù)N₀，如果NN₀，則提示起吊失敗，否則回到步驟7，重新嘗試起吊，直至完成吊裝作業(yè)。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下有點(diǎn)：