[發明專利]基于雙目顯微立體視覺的零件精確定位方法

有效

• 申請號: 201310182221.0
• 申請日: 2013-05-16
• 公開（公告）號: CN103247053A
• 公開（公告）日: 2013-08-14
• 發明（設計）人: 劉巍;賈振元;屠先明;王福吉;王文強;趙凱
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 關慧貞

1.一種基于雙目顯微立體視覺的零件精確定位方法，其特征是，采用雙目顯微立體視覺系統，利用左右兩個CCD攝像機（2、2’）采集被測零件（4）的圖像位置信息，立體顯微鏡（3）將被測零件（4）上的待測區域（6）的圖像位置信息進行放大；放大后的圖像經過圖像采集卡傳到工業控制計算機（9）內，采用精度較高的棋盤格標定板對左右兩個CCD攝像機進行標定；采用Harris角點檢測算法及亞像素提取算法進行待測特征點的提取；將提取后的待測特征點進行初匹配和匹配點對的校正；將已經匹配好的特征點圖像坐標輸入到標定好的系統中得到特征點的空間實際坐標；測量方法的具體步驟如下：

（1）左右兩個CCD攝像機的標定

左右兩個CCD攝像機的標定包括攝像機內參數和攝像機外參數；攝像機內參數包括尺度因子α、β，主點坐標u₀，v₀，以及垂直因子γ；在標定過程中，需要先得到攝像機的五個內參數，在求得內參數矩陣的基礎上，求解攝像機外參數矩陣；尺度因子是空間點在經過平移旋轉變換之后，它在攝像機坐標系中的坐標與它在圖像坐標系中的坐標的尺度關系，本發明對尺度因子的標定采用張氏攝像機標定法；根據攝像機的針孔模型可建立圖像坐標系與世界坐標系的關系公式為：

Zcuv1=αγu00βv0001RtXwYwZw1---(1)]]>

其中：α和β就是需要標定的尺度因子，X_w,Y_w,Z_w是空間中一點P的三維空間坐標，u,v是P點在圖像上的圖像坐標，R,t代表了攝像機坐標系相對于世界坐標系的旋轉和平移矩陣；若令X′_w=(X_w,Y_w,Z_w)^T，則

x‾w=(u,v)T,Zc=s,]]>

其中，H也稱為單應性矩陣，且有

H=K[r₁,r₂,t]?????????????????(3)

每一個位置的標定板圖像都獨立對應一個單應性矩陣，令H=[h₁,h₂,h₃]則可由上式推得：

[h₁??h₂??h₃]=λK[r₁??r₂??t]???????????(4)

其中，λ為任意的比例因子，K攝像機內參數矩陣，因r₁和r₂是單位正交向量，即r₁^Tr₁=r₂^Tr₂=1且r₁^Tr₂=0則：

h1TK-TK-1h1=h2TK-TK-1h2=1---(5)]]>

h₁K^-TK^-1h₂=0???????????????????(6)

根據公式(5)公式(6)，計算出立體顯微鏡左右光路的攝像機尺度因子；針對主點坐標，采用變倍率法對攝像機的主點進行標定；假設空間中任意一點P在攝像機坐標系中的坐標為x₁,y₁,z₁，在不考慮非線性畸變以及圖像坐標垂直度的情況下，該點的圖像平面投影的坐標為：

u1=rx1+u0v1=ry1+v0---(7)]]>

其中u₁,v₁是該點的圖像坐標，r是任一放大倍率，u₀,v₀是主點坐標；將式中的r消去，可得直線方程：

u1-u0x1=v1-v0y1---(8)]]>

即在任何放大倍率下，點x₁,y₁,z₁的圖像坐標都在同一直線上，且該直線一定經過攝像機主點u₀,v₀；為了求取攝像機主點u₀,v₀，選定12個在圖像投影平面上不重合的點，令這12個點分別在不同放大倍率下0.7、1、2、2.4、3、5、5.8、8進行投影，利用最小二乘法對獲得的12條直線進行擬合，并用最小二乘法求取12條直線的交點坐標即攝像機主點u₀,v₀；由于垂直因子γ對成像精度影響不大，因此在初始參數標定時，將γ設為0，通過優化手段得到γ具體值；針對攝像機外參數旋轉矩陣R和平移矩陣t；由公式(2)知，在標定完內參數矩陣K和單應性矩陣H后可以求得攝像機旋轉矩陣R=[r₁,r₂,r₃]和平移向量t如下：

r₁=λK^-1h₁

r₂=λK^-1h₂?????????????????????(9)

r₃=r₁×r₂

t=λK^-1h₃

在初步標定完左右兩個CCD攝像機的主參數后，下一步是對主參數和畸變參數的優化；為了簡化優化參數，本發明采用四元數法將旋轉矩陣R=[r1,r2,r3]=r11r21r31r12r22r32r13r23r33]]>中的九個未知數縮減為四個，公式如下：

q1=1+r11+r22+r332,q2=r23-r324q1,q3=r31-r134q1,q4=r12-r214q1]]>

q2=1+r11-r22-r332,q1=r23-r324q2,q3=r12+r214q2,q4r31-r134q2]]>???????(10)

q3=1-r11+r22-r332,q1=r31-r134q3,q2=r12-r214q3,q4=r23-r324q3]]>

q4=1-r11-r22+r332,q1=r12-r214q4,q2=r31+r134q4,q3=r23-r324q4]]>

從公式(10)計算得到新的旋轉矩陣：

R=-1+2q22+2q122q2q3-2q1q42q1q3+2q2q42q2q3+2q4q1-1+2q12+2q32-2q1q2+2q3q4-2q1q3+2q4q22q1q2+2q3q4-1+2q12+2q43---(11)]]>

由于四元數q₁,q₂,q₃,q₄的平方和等于一，因此旋轉矩陣的待優化參數簡化為三個；將已求得的左右兩個CCD攝像機標定參數值作為優化初始值，利用優化算法對攝像機主參數和畸變參數進行整體優化；對左右兩個CCD攝像機主參數和畸變參數的優化是基于最大似然估計準則，對于給定的n個標定板圖片提供的m×n個標定點坐標，左右兩個CCD攝像機參數的最優化問題通過下式的最小化問題來表達:

S(θ)=Σi=1nΣi=1mϵi2=Σi=1nΣi=1m[y1-mi(Cj,pj,Xi)]2---(12)]]>

其中j是指參與計算的第j個攝像機，i是指第j個攝像機獲取的第i個點，X_i是輸入的空間點坐標，y_i是空間第i點的圖像坐標，C_j是固定不變的攝像機參數向量，其長度為n₀，p_j是需要調整的攝像機參數向量，其長度為n₁，n₀+n₁即為攝像機所有參數向量長度，m_i(C_j,p_j,X_i)是攝像機的成像方程；本發明采用基于LM算法的光束平差法來解決上式的最小化優化問題；利用光束平差法的編寫優化程序時除了要提供左右兩個CCD攝像機的標定參數初值外還要提供一定數量的和形式的三維空間坐標點以及這些三維坐標點的相應圖像坐標，因此為了精確得到整個視場空間內高精密標定板的角點坐標，采用數控機床z軸進給帶動顯微鏡縱向移動的方法；并采用激光干涉儀（測量精度可達到0.1um）對z軸進行測量得到z軸移動的實際距離，保證所采集角點坐標點的z向實際精度；在光束平差法中，優化算法的迭代因子是由迭代參數的一階導數組成的雅克比矩陣構成的，因此需要在計算過程中引入待成像方程中調整參數的雅克比矩陣；

J=[dfdp(1),dfdp(2),...,dfdp(n1)]---(13)]]>

光束平差法以其待調整參數的雅克比矩陣組成迭代因子，對模型參數進行調整，得到使成像誤差S(θ)達到最小的模型參數最優解；

（2）待測區域特征點的提取

本發明針對待測區域特征點的提取采用的是Harris角點檢測算法；Harris提出了用高斯函數代替方形區域計算梯度的算法，若目標點的像素坐標為x,y，其在x方向和y方向的位移分別為u和v,則該目標點的灰度變化由如下公式表示：

E(x,y)=Σu,vω(u,v)[I(x+u,y+v)-I(x,y)]2]]>

≈Σu,vω(u,v)(u,v)Ix2IxIyIxIyIy2uv---(14)]]>

令M(x,y)=Σu,vω(u,v)Ix2IxIyIxIyIy2]]>則：

E(x,y)≈(u,v)M(x,y)uv---(15)]]>

計算矩陣M的特征值λ₁,λ₂，如果兩個特征值都比較大，說明目標點的圖像灰度自相關函數的兩個正交方向上的值均較大，則該點即為特征點；通過Harris算法對特征點進行初提取后；采用亞像素角點提取算法提取出精度更高的角點坐標；對于理想角點，它附近的像素點的灰度梯度方向均垂直于該點與理想角點的連線；這一特點可以用公式表達為：

▿H→(α→β→)=0---(16)]]>

其中是理想角點的灰度梯度方向，向量為圖像原點指向理想角點的坐標，向量為圖像原點指向理想角點附近任一邊緣點的坐標；實際上，由于受到圖像噪聲的影響，公式(10)通常都不為零，可以將其視為誤差e，即

e=▿H→(α→-β→)---(17)]]>

在以角點為中心的鄰域內，對所有點按上式計算，誤差和為E,則

E=Σie=Σi▿H→(α→-β→)---(18)]]>

其中，i是鄰域內第i個點；這樣求使誤差和E最小的點即是亞像素級別的角點坐標；

（3）特征點的立體匹配

采用歸一化交叉算法（NCC）實現特征點的初匹配，以CCD攝像機2拍得的圖片作為基準圖片，并以特征點p_l為中心,構造一個N*N（代表圖像像素）的局部圖像塊作為模版圖T，并令模版圖T在待匹配圖像S的包含有特征點的一定范圍內進行遍歷，搜索模版所覆蓋的子圖記做S^i,j，i,j為子圖中心點在匹配圖像S中的像素坐標，通過使用歸一化交叉算法（NCC）來計算模版圖T和搜索子圖S^i,j之間的歸一化互相關系數，算法如下:

R(i,j)=Σm,n|Si,j(m,n)-E(Si,j)||T(m,n)-E(T)|Σm,n(Si,j(m,n)-E(Si,j))2Σm,n(T(m,n)-E(T))2---(19)]]>

其中m,n代表各個像素的坐標，E(S^i,j)和E(T)分別是搜索子圖S^i,j與模版圖T的灰度平均值；互相關系數R(i,j)的值越大，則搜索子圖與模板圖的匹配程度越高；設定互相關系數R(i,j)的閾值后，選出特征點p_l的候選匹配點；使用NCC算法進行初匹配后還需要利用外極限約束和距離約束來對匹配的特征點對進行校正；通過使用Longguet-Higgins提出的歸一化8點算法在攝像機標定時計算左右兩個CCD攝像機的基本矩陣F，根據外極線理論，對基準圖像特征點p_l，在待匹配圖像S中對應的外極線l_r可以表示為：

l_r=F·p_l???????????????????????(20)

初匹配的候選特征點若在外極線l_r附近則可進一步確定該候選特征點為匹配點；最后統計每一候選特征點到其他特征點的距離和基準圖像中特征點到其他特征點點距離相等的個數num；num最大值時對應的候選特征點則為基準圖像中特征點的正確匹配點；

（4）三維坐標的求取

首先計算出雙目圖像中特征點經亞像素算法提取出的圖像坐標值，并大致估算出特征點在世界坐標系中的估計值；在優化程序中將左右兩個CCD攝像機參數對應雅克比矩陣設為零，同時在優化程序計算迭代因子部分中嵌入關于空間坐標x、y、z的雅克比矩陣方程；將已經優化好的左右兩個CCD攝像機參數以及特征點點圖像坐標值和世界坐標估計值輸入光束平差法優化程序，就可以對空間點的三維坐標進行優化，得到特征點的三維空間測量值，從而完成三維坐標點的求取并最終實現特征點的定位。