[發明專利]雙目視覺管道內壁自動無損檢測方法

無效

• 申請號: 201110001166.1
• 申請日: 2011-01-05
• 公開（公告）號: CN102135236A
• 公開（公告）日: 2011-07-27
• 發明（設計）人: 張弘;李璐;賈瑞明;燕桂芳;李岳成;李嘉鋒
• 申請（專利權）人: 北京航空航天大學
• 主分類號: F17D5/06
• 分類號: F17D5/06
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 王順榮;唐愛華

1.一種雙目視覺管道內壁自動無損檢測方法，其特征在于：該方法步驟如下：

步驟一雙目CCD攝像機的標定

首先標定雙目CCD攝像機的內參數：制作30mm×25mm的棋盤格標定板，每個棋盤格大小為5mm×5mm的正方形；將雙目攝像機編號為第一攝像機和第二攝像機；首先對第一攝像機進行標定；將棋盤格標定板放在攝像機景深范圍內的任一位置，并保證棋盤格在相機視場范圍內，拍攝一張圖像；然后移動標定板到另一位置，同樣保證以上兩個條件，并確保標定板當前所在位置與之前的位置不在同一平面上，拍攝一張圖像；重復以上過程三次，獲得四幅標定圖像，然后運行標定軟件，軟件將自動提取圖像內棋盤格的角點坐標，計算出第一攝像機的內參數；采用同樣的方法，對第二攝像機進行標定，獲取第二攝像機的內參數；當第一攝像機和第二攝像機的內參數均標定完成后，將棋盤格標定板移動至第一攝像機和第二攝像機共同視場范圍和景深范圍內，拍攝一張圖像，設此時棋盤格標定板的基準坐標系為O_cX_cY_cZ_c，第一攝像機的坐標系為O₁X₁Y₁Z₁，第二攝像機的坐標系為O₂X₂Y₂Z₂，定義世界坐標系O_wX_wY_wZ_w與第一攝像機坐標系重合，則可以根據之前標定的第一攝像機和第二攝像機的內參數，以及棋盤格角點在第一攝像機、二拍攝的兩幅圖像中各自的坐標，獲得從O_cX_cY_cZ_c到O₁X₁Y₁Z₁坐標系的旋轉矩陣R₁和平移向量t₁，以及從O_cX_cY_cZ_c到O₂X₂Y₂Z₂坐標系的旋轉矩陣R₂和平移向量t₂，即獲得了第一攝像機和第二攝像機的外參數；

步驟二設置測量參數

將雙目CCD攝像機放入待測管道，將采集供電系統上的USB數據線連接到便攜式計算機的USB接口，啟動采集供電系統上的總電源開關，啟動便攜式計算機上的圖像處理軟件，軟件自動測試與視頻采集卡的連接情況；確認連接正常后，用戶輸入當前觀察的位置，圖像處理軟件將位置信息記錄入數據庫；

步驟三實時測量

首先，進行圖像特征的提取：利用Canny邊緣檢測算子檢測缺陷，過程如下：

(1)降噪：將原始數據與高斯模板作卷積；

(2)尋找圖像中的亮度梯度：使用4個邊緣檢測模板檢測水平、垂直以及對角線方向的邊緣，并存儲原始圖像與每個模板所作的卷積；對于圖像的每個像素點，標識在這個點上的最大值以及生成的邊緣的方向；

(3)在圖像中跟蹤邊緣：使用兩個閾值，從一個較大的閾值開始，標識出比較確信的真實邊緣，根據上述第(2)步中獲得的邊緣方向，在圖像中跟蹤整個的邊緣；在跟蹤時，使用一個較小的閾值，以便跟蹤曲線的模糊部分；

其次，在提取圖像特征后，需要對雙目圖像進行匹配；

雙目圖像匹配的過程如下：

(1)利用雙目CCD攝像機系統參數標定的結果，建立雙目視圖的極線約束關系，根據此關系對圖像進行校正，將極線調整到水平位置；校正后的圖像，對應的匹配像素位于同一水平線上；

(2)確定雙目攝像機視差的范圍；假設單套CCD攝像機在管道內壁的成像寬度為w，雙目CCD攝像機基線距離為d，攝像機的圖像分辨率為a*b，視場角為α和θ，空間某點P在雙目圖像中的像素坐標分別為(u₁，v₁)和(u₂，v₂)，定義P在雙目圖像中的視差Δu＝u₂-u₁，則Δu與P點的深度，即P點在攝像機光軸方向的坐標有關；假設P點的深度為z，則成像寬度w＝2*z*tan(α/2)，由此可以推出P點在雙目圖像中的視差Δu＝a*d/w；事先可以測量管壁的半徑，并估計缺陷的深度范圍，可以估計出待測點深度范圍為(z₁，z₂)，對應成像寬度為(w₁，w₂)，則視差范圍可以控制在Δ＝a*d*(1/w₁-1/w₂)；

(3)匹配雙目圖像中的缺陷區域：將第一攝像機拍攝的圖像作為匹配圖像，第二攝像機拍攝的圖像作為參考圖像，對參考圖像中缺陷區域內的每個像素，在匹配圖像中的以參考圖像像素位置為中心，寬度方向從第a*d*(1/w2)個像素到第a*d*(1/w1)個像素，高度正負2個像素的范圍內進行潛在匹配像素的搜索；對每個潛在的匹配像素，均根據其八鄰域的灰度值按照歸一化灰度差的平方的匹配準則同參考像素進行匹配：歸一化灰度差的平方方式的匹配為：

S(x,y)=Σy′=0n-1Σx′=0m-1[T(x′,y′)-I(x+x′,y+y′)]2Σy′=0n-1Σx′=0m-1T(x′,y′)2Σy′=0n-1Σx′=0m-1I(x+x′,y+y′)2]]>

其中T(x′，y′)為參考圖像中的像素灰度，I(x+x′，y+y′)為匹配圖像中的像素灰度，m、n為鄰域大小；取S(x，y)值最小的特征點作為最佳匹配點；

按照同樣的方法，以第二攝像機拍攝的圖像為參考圖像，第一攝像機拍攝的圖像為匹配圖像進行像素匹配，即在雙目圖像中進行對稱計算；將只滿足一個方向或兩個方向都不滿足匹配條件的匹配像素對視為虛假匹配，即只有在對稱計算中均為匹配像素的才為正確的匹配像素對；

再次，根據雙目圖像匹配得到的像素對計算視差，進一步計算每個像素在世界坐標系中的三維坐標；

像素在世界坐標系下的三維坐標重建方法如下：

對于單個CCD攝像機，設圖像坐標(u，v)^T，對應屏幕坐標(X，Y，Z)^T，成像系統如下所示：

suv1=fx0cx0fycy001·r11r12r13r21r22r23r31r32r33·XYZ+txtytz=m11m12m13m14m21m22m23m24m31m32m33m34XYZ1=MP---(1)]]>

其中s是比例因子，是攝像機的內參數矩陣，是旋轉矩陣，是偏移向量，P＝(X，Y，Z，1)^T；R和t統稱為攝像機的外參數；

對于公式(1)，可以將比例因子s除到等號右邊，不改變公式(1)右邊的形式，得到：

x=uv1=MP---(2)]]>

x是像素圖像坐標的齊次坐標形式；

對于第一攝像機和第二攝像機，可以獲得如公式(2)形式的兩個成像關系式：

x₁＝M₁P₁????(3)

x₂＝M₂P₂????(4)

在前述的圖像特征提取與匹配過程中，已經知道世界坐標系中某一特征點P在第一攝像機中成像的圖像坐標為x₁，在第二攝像機中成像的圖像坐標為x₂，代入公式(3)(4)，得：

x₁＝M₁P

x₂＝M₂P

由于M₁，M₂在攝像機標定過程中已經確定，因此通過P點在雙目攝像機所拍攝圖像中的圖像坐標便可計算出P點的世界坐標，從而確定P點在實際三維空間中所處的位置；

對缺陷范圍內的每一個像素進行匹配和三維重建，獲取缺陷內所有點對應的世界坐標；根據世界坐標的定義，定義管壁上某一點的深度如下：

設攝像機在兩個方向上的視場角為弧度α和θ，對于空間中點P，設其世界坐標經過前述過程已計算出，為(X_p，Y_p，Z_p)，則其深度為在每處缺陷范圍內S_i內，其深度極值為和maxp∈SiYp2+Zp2;]]>

步驟四數據管理

在測量結束后，將每次檢測的數據進行分類入庫；為用戶提供組合查詢功能，可以根據檢測時間、位置等條件查詢需要以往檢測拍攝到的圖像和檢測結果。

2.根據權利要求1所述的一種，其特征在于：其中作為Canny邊緣檢測算子的一部分，一個獲得亞像素精度邊緣的改進方法是在梯度方向檢測二階方向導數的過零點：

Lx2Lxx+2LxLyLxy+Ly2Lyy=0]]>

它在梯度方向的三階方向導數滿足符號條件：

Lx3Lxxx+3Lx2LyLxxy+3LxLy2Lxyy+Ly3Lyyy<0]]>

其中L_x，L_y...L_yyy表示用高斯核平滑原始圖像得到的尺度空間表示L計算得到的偏導數；對于每條連續曲線s，定義則定義區域S_i＝{(u，v)|u_min≤u≤u_max，v_min≤v≤v_max}為一個缺陷區域。