[發(fā)明專利]一種基于雙目視覺的金屬工件缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 201710660900.2
• 申請日: 2017-08-04
• 公開（公告）號: CN107248159A
• 公開（公告）日: 2017-10-13
• 發(fā)明（設(shè)計）人: 盛子旗;馬嘯川;馬云鵬;王佳妤;李慶武
• 申請（專利權(quán)）人: 河海大學(xué)常州校區(qū)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/136;G06T3/40;G06T7/80
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司32224
• 代理人: 許婉靜,董建林

1.一種基于雙目視覺的金屬工件缺陷檢測方法，其特征在于，包括以下步驟：

1)提取工件目標(biāo)圖像：

11)首先對雙目相機獲取到的左目圖像與右目圖像使用全局匹配算法進行深度粗檢測，得到視差圖像；

12)標(biāo)記視差圖像中的前景像素點作為工件區(qū)域位置檢測的生長點，利用雙目視覺局部型匹配算法，對原始彩色圖像進行角點檢測、顏色檢測，構(gòu)建前景區(qū)域的視覺顯著性特征，再根據(jù)前景區(qū)域位置檢測的生長點位置信息和前景區(qū)域視覺顯著性特征完成工件目標(biāo)的檢測；

2)檢測工件缺陷：

21)采用雙三次插值法對工件目標(biāo)圖像進行超分辨率重建；

22)對工件表面缺陷進行檢測；(a)全局特征提?。簩Λ@取的金屬表面圖像分別從0°、45°、90°、135°四個方向分析其灰度值分布的情況，得到鄰域灰度差算法中的步長與閾值；(b)局部特征分割：選取0°、45°、90°、135°方向?qū)饘俦砻鎴D像分別進行鄰域灰度差分割，分別得到二值化圖像T₁、T₂、T₃、T₄，則最終缺陷分割結(jié)果T＝T₁|T₂|T₃|T₄；

23)計算缺陷面積，判斷工件是否合格。

2.根據(jù)權(quán)利要求1所述的基于雙目視覺的金屬工件缺陷檢測方法，其特征在于，包括以下步驟：在提取工件目標(biāo)圖像之前，還包括對左目相機和右目相機進行標(biāo)定的步驟。

3.根據(jù)權(quán)利要求2所述的基于雙目視覺的金屬工件缺陷檢測方法，其特征在于，標(biāo)定過程包括：

a.將兩個相機平行平放形成一個雙目相機；

b.獲取棋盤模板圖像，打印一個具有sm×sn個已知方格大小的棋盤平面作為標(biāo)定模板，將標(biāo)定模板放置在雙目相機的攝像范圍內(nèi)并多次轉(zhuǎn)動，從而使相機拍攝得到多幅不同的棋盤圖像；

c.以棋盤模板左上角為原點，按順時針的方向，確定角點檢測的區(qū)域，采用Harris角點檢測算法對左目相機和右目相機各幅棋盤標(biāo)定模板進行檢測；

d.計算單應(yīng)性矩陣H，矩陣H的第ia列用h_ia表示，定義如下：

H=h11h12h13h21h22h23h31h321=[h1h2h3]]]>

設(shè)R是一個旋轉(zhuǎn)矩陣，R的第ib列向量用r_ib表示，t是一個三維平移向量，定義如下：

R=r11r12r13r21r22r23r31r32r33=[r1r2r3]t=txtytz]]>

設(shè)a_x是攝像機在x方向的焦距，a_x是攝像機在y方向的焦距，(u₀,v₀)是攝像機的主點，A是一個內(nèi)參矩陣，定義如下：

A=ax0u00ayv0001]]>

設(shè)棋盤標(biāo)定模板上某角點P的世界坐標(biāo)系為P_w＝(X_w,Y_w,Z_w)^T，在圖像上的像素點P_u的坐標(biāo)為P_u＝(u,v)^T，λ是尺度因子，則P_w和P_u的關(guān)系表示為：

uv1=λA[r1r2r3t]XwYw01=λA[r1r2t]XwYw1=HXwYw1=[h1h2h3]XwYw1]]>

將步驟3中得到的多個角點代入上式，再利用最小二乘法得到每個相機的單應(yīng)性矩陣H，其中每幅圖像對內(nèi)參矩陣滿足以下兩個約束條件：

h1TA-TA-1h2=0h1TA-TA-1h1=h2TA-TA-1h2]]>

其中A^-1表示矩陣A的逆矩陣，A^-T表示表示矩陣A的逆轉(zhuǎn)置矩陣；

e.計算左目相機和右目相機的內(nèi)外參數(shù)，單應(yīng)性矩陣由相機的內(nèi)外參數(shù)組成，從單應(yīng)性矩陣中分解出相機的各個參數(shù)；

構(gòu)建矩陣B，令B＝A^-TA^-1，則矩陣B的定義如下：

B=B11B12B13B21B22B23B31B32B33=1αx20-u0αx201αy2-v0αy2-u0αx2-v0αy2u0αx2+v0αy2+1]]>

取矩陣B中的部分參數(shù)構(gòu)成向量vb：

vb＝[B₁₁B₁₂B₂₂B₁₃B₂₃B₃₃]^T

取矩陣H中的部分參數(shù)構(gòu)建向量v_ij：

v_ij＝[h_i1h_j1 h_i2h_j2+h_i2h_j1 h_i2h_j2 h_i1h_j3 h_i3h_j2+h_i2h_j2 h_i3h_j3]

其中向量v_ij的下標(biāo)決定從矩陣H中選取參數(shù)的位置，則有即求出矩陣B，從而得到相機內(nèi)參α_x，α_y，u₀，v₀，進而得到下式，求出相機外參：

r1=1λA-1h1r2=1λA-1h2r3=r1×r2t=1λA-1h3r112+r122+r132=1r212+r222+r232=1]]>

f.計算左目相機和右目相機相對位置關(guān)系，求出左目相機和右目相機的內(nèi)參數(shù)和外參數(shù)后，由下式得到左目相機和右目相機之間的位置關(guān)系：

X1Y1Z11=R1R2-1-t1R1R2-1t20T1X2Y2Z21=Rt0T1X2Y2Z21]]>

其中，左目相機和右目相機的旋轉(zhuǎn)矩陣及平移向量分別為R₁、t₁和R₂、t₂，世界坐標(biāo)系中的一點P_w＝(X_w,Y_w,Z_w)在左目相機和右目相機坐標(biāo)系的坐標(biāo)分別為(X₁,Y₁,Z₁)和(X₂,Y₂,Z₂)。