[發(fā)明專利]一種汽車配件手眼檢測(cè)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710800427.3
• 申請(qǐng)日: 2017-09-07
• 公開（公告）號(hào): CN107633509B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 葉明;王武;李克斌;余厚云;楊永強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué);南京航空航天大學(xué)無(wú)錫研究院
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙) 31290
• 代理人: 袁亞軍

1.一種汽車配件手眼檢測(cè)系統(tǒng)，其特征在于，包括機(jī)械手控制柜、機(jī)械手、攝像機(jī)以及圖像處理系統(tǒng)；所述機(jī)械手控制柜用于控制機(jī)械手運(yùn)動(dòng)到指定位置；所述攝像機(jī)與圖像處理系統(tǒng)連接，用于在圖像處理系統(tǒng)控制下，獲得被測(cè)汽車配件上各個(gè)位置的觀測(cè)圖像R，并將所述觀測(cè)圖像R傳至圖像處理系統(tǒng)；所述圖像處理系統(tǒng)用于對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上零件、膠條的安裝情況，所述圖像處理系統(tǒng)具體用于對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在漏裝、膠墊破損、錯(cuò)裝三種錯(cuò)誤類型以及所述被測(cè)汽車配件上的膠條是否破損，所述對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的膠條是否破損，具體包括：利用大津法對(duì)采集到的觀測(cè)圖像R二值化得到圖像BW，使用Sobel濾波器對(duì)圖像BW進(jìn)行水平和垂直方向處理分別得到sobelX和sobelY，計(jì)算其L1范式的梯度圖像G，G＝abs(sobelX)+abs(sobelY)，通過(guò)對(duì)梯度圖像G做TopHat變換即梯度圖像G減去G的形態(tài)學(xué)開運(yùn)算圖像得到圖像TopHat，對(duì)梯度圖像G做BlackHat變換即梯度圖像G的形態(tài)學(xué)閉運(yùn)算圖像減去梯度圖像G得到圖像BWlackHat，取圖像TopHat與圖像BWlackHat的極大值得到圖像MAX，從而獲得圖清晰度屬性，遍歷圖像BW上所有像素點(diǎn)，若BW上任意一點(diǎn)P(x,y)的像素值為255，且在圖像MAX上對(duì)應(yīng)坐標(biāo)點(diǎn)P1(x,y)的像素值大于閾值T，則圖像BW上點(diǎn)(x,y)像素值置255，其余點(diǎn)像素值置0，得到圖像BW，對(duì)圖像BW通過(guò)面積過(guò)濾和位置定位提取邊界基準(zhǔn)區(qū)域并進(jìn)行骨架細(xì)化得到一條曲線Q，對(duì)曲線Q進(jìn)行多項(xiàng)式擬合得到曲線Q1作為膠條檢測(cè)的基準(zhǔn)線，把圖像BW中所有像素點(diǎn)灰度在曲線Q1上投影，得到曲線Q1方向上的灰度投影曲線S，利用曲線S中最大值的設(shè)定比例值作為閾值T1，則曲線S中灰度小于閾值T1的區(qū)域均為膠條斷裂區(qū)域，從而完成對(duì)膠條是否破損的判斷，所述對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在漏裝、膠墊破損，具體包括：對(duì)觀測(cè)圖像R進(jìn)行固定閾值二值化處理得到二值化圖像BW；對(duì)二值化圖像BW的白色區(qū)域面積進(jìn)行排序，則白色區(qū)域面積最大值S所在的區(qū)域I為疑似零件區(qū)域；通過(guò)比較面積S與閾值T判斷被測(cè)汽車配件上的零件是否存在漏裝；在二值化圖像BW中作區(qū)域I的最小外接圓C，通過(guò)計(jì)算最小外接圓C所包含的黑色區(qū)域面積與白色區(qū)域面積的比值是否大于閾值T1判斷被測(cè)汽車配件上的零件是否存在膠墊的破損，所述對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在錯(cuò)裝，具體包括：在被測(cè)汽車配件上零件的漏裝、膠墊破損檢測(cè)之后，對(duì)于被測(cè)汽車配件上零件沒(méi)有漏裝且膠墊沒(méi)有破損的情況下，做中區(qū)域I的最小外接矩形RC，以最小外接矩形RC中心點(diǎn)做長(zhǎng)邊的平行線L，把平行線L與區(qū)域I邊界輪廓上右邊的交點(diǎn)d作為起始點(diǎn)，從起始點(diǎn)開始建立輪廓每相鄰兩點(diǎn)的向量集合A，把區(qū)域I的邊界輪廓以平行線L分成上下兩部分，再把上下兩部分輪廓在平行線L的方向上等距離分成N份，則向量集合A也被分成N份，把N份向量集合分別做傅里葉變換得到歸一化的傅里葉形狀描述子，并跟3種零件模板的N份傅里葉形狀描述子進(jìn)行一一對(duì)應(yīng)對(duì)比，若N份形狀描述子中有與第1類零件模板形狀描述子相近，則為第1類零件，若N份形狀描述子中有與第3類零件模板形狀描述子相近，則為第3類零件，否則為第2類零件，從而判斷被測(cè)汽車配件上的零件是否存在錯(cuò)裝，所述汽車配件手眼檢測(cè)系統(tǒng)還包括LED環(huán)形光源和檢測(cè)臺(tái)，所述LED環(huán)形光源用于在攝像機(jī)拍照時(shí)，補(bǔ)償光線；所述檢測(cè)臺(tái)用于固定所述被測(cè)汽車配件。

2.一種汽車配件手眼檢測(cè)方法，其特征在于，包括如下步驟：

S101、機(jī)械手控制柜控制攜帶攝像機(jī)的機(jī)械手運(yùn)動(dòng)到指定位置；

S102、在圖像處理系統(tǒng)控制下，攝像機(jī)獲得被測(cè)汽車配件上各個(gè)位置的觀測(cè)圖像R，并將所述觀測(cè)圖像R傳至圖像處理系統(tǒng)；

S103、圖像處理系統(tǒng)對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在漏裝、膠墊破損、錯(cuò)裝三種錯(cuò)誤類型以及所述被測(cè)汽車配件上的膠條是否破損；

S104、機(jī)械手運(yùn)動(dòng)至下一個(gè)拍攝點(diǎn)，重復(fù)步驟S102-S103直至被測(cè)汽車配件上所有零件檢測(cè)完畢，所述步驟S103中對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的膠條是否破損，具體包括：利用大津法對(duì)采集到的觀測(cè)圖像R二值化得到圖像BW，使用Sobel濾波器對(duì)圖像BW進(jìn)行水平和垂直方向處理分別得到sobelX和sobelY，計(jì)算其L1范式的梯度圖像G，G＝abs(sobelX)+abs(sobelY)，通過(guò)對(duì)梯度圖像G做TopHat變換即梯度圖像G減去G的形態(tài)學(xué)開運(yùn)算圖像得到圖像TopHat，對(duì)梯度圖像G做BlackHat變換即梯度圖像G的形態(tài)學(xué)閉運(yùn)算圖像減去梯度圖像G得到圖像BWlackHat，取圖像TopHat與圖像BWlackHat的極大值得到圖像MAX，從而獲得圖清晰度屬性，對(duì)在圖像BW中點(diǎn)(x,y)的像素值為255，且在圖像MAX上對(duì)應(yīng)坐標(biāo)點(diǎn)P1(x,y)的像素值大于閾值T，則圖像BW上點(diǎn)(x,y)像素值置255，其余點(diǎn)像素值置0，得到圖像BW，對(duì)圖像BW通過(guò)面積過(guò)濾和位置定位提取邊界基準(zhǔn)區(qū)域并進(jìn)行骨架細(xì)化得到一條曲線Q，對(duì)曲線Q進(jìn)行多項(xiàng)式擬合得到曲線Q1作為膠條檢測(cè)的基準(zhǔn)線，把圖像BW中所有像素點(diǎn)灰度在曲線Q1上投影，得到曲線Q1方向上的灰度投影曲線S，利用曲線S中最大值的設(shè)定比例值作為閾值T1，則曲線S中灰度小于閾值T1的區(qū)域均為膠條斷裂區(qū)域，從而完成對(duì)膠條是否破損的判斷，所述步驟S103中對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在漏裝、膠墊破損，具體包括：對(duì)觀測(cè)圖像R進(jìn)行固定閾值二值化處理得到二值化圖像BW；對(duì)二值化圖像BW的白色區(qū)域面積進(jìn)行排序，則白色區(qū)域面積最大值S所在的區(qū)域I為疑似零件區(qū)域；通過(guò)比較面積S與閾值T判斷被測(cè)汽車配件上的零件是否存在漏裝；在二值化圖像BW中作區(qū)域I的最小外接圓C，通過(guò)計(jì)算最小外接圓C所包含的黑色區(qū)域面積與白色區(qū)域面積的比值是否大于閾值T1判斷被測(cè)汽車配件上的零件是否存在膠墊的破損，所述步驟S103中對(duì)所述觀測(cè)圖像R進(jìn)行處理，判斷所述被測(cè)汽車配件上的零件是否存在錯(cuò)裝，具體包括：在被測(cè)汽車配件上零件的漏裝、膠墊破損檢測(cè)之后，對(duì)于被測(cè)汽車配件上零件沒(méi)有漏裝且膠墊沒(méi)有破損的情況下，做區(qū)域I的最小外接矩形RC，以最小外接矩形RC中心點(diǎn)做長(zhǎng)邊的平行線L，把平行線L與區(qū)域I邊界輪廓上右邊的交點(diǎn)d作為起始點(diǎn)，從起始點(diǎn)開始建立輪廓每相鄰兩點(diǎn)的向量集合A，把區(qū)域I的邊界輪廓以平行線L分成上下兩部分，再把上下兩部分輪廓在平行線L的方向上等距離分成N份，則向量集合A也被分成N份，把N份向量集合分別做傅里葉變換得到歸一化的傅里葉形狀描述子，并跟3種零件模板的N份傅里葉形狀描述子進(jìn)行一一對(duì)應(yīng)對(duì)比，若N份形狀描述子中有與第1類零件模板形狀描述子相近，則為第1類零件，若N份形狀描述子中有與第3類零件模板形狀描述子相近，則為第3類零件，否則為第2類零件，從而判斷被測(cè)汽車配件上的零件是否存在錯(cuò)裝。