[發明專利]一種基于時間轉軸約束的雙目視覺測量方法

有效

• 申請號: 201610056600.9
• 申請日: 2016-01-26
• 公開（公告）號: CN105698699B
• 公開（公告）日: 2017-12-19
• 發明（設計）人: 劉巍;張洋;楊帆;高鵬;蘭志廣;李曉東;賈振元;高航
• 申請（專利權）人: 大連理工大學
• 主分類號: G01B11/24
• 分類號: G01B11/24
• 代理公司: 大連理工大學專利中心21200
• 代理人: 關慧貞

1.一種基于時間轉軸約束的雙目視覺測量方法，其特征是，該方法結合電控轉臺的激光掃描速度和測量時間的計算，建立時間轉軸約束，確定特征激光平面的空間精確位置，從而將圖像誤差轉換為運動與時間的控制誤差，實現激光特征信息的高精度重建；首先對雙目相機、激光平面初始位置、電控轉臺轉軸位置系統結構參數分別進行標定，然后提取圖像中的激光光條特征信息，通過控制激光器掃描的電控平臺的掃描速度及相機采集幀頻，確定動態序列圖像中激光平面的空間精確位置，將雙目相機采集的激光特征點與激光所處的空間平面關系建立優化模型，將基于圖像的雙目測量誤差轉換為基于時間轉軸的控制誤差，并融合序列圖像中激光光條重建信息完成被測物表面幾何量的測量，實現被測物表面激光光條的高精度重建；方法具體步驟如下：

第一步結構視覺系統的標定

1)雙目相機的標定

采用張正友的平面靶標標定方法，以靶標平面建立世界坐標系，對系統中的雙目相機進行標定，其相機模型如下：

suv1=αx0u00αyv0001XcYcZc1=αx0u00αyv0001RT0T1XwYwZw1=M1×M2XwYwZw1---(1)]]>

其中，u,v分別是圖像的行列像素坐標值，X_w,Y_w,Z_w代表被測點在世界坐標系里的三維坐標值，X_c,Y_c,Z_c代表被測點在攝像機坐標系里的三維坐標值，M₁為相機內參數矩陣，包括列向量等效焦距α_x、行向量等效焦距α_y、主點的像素坐標(u₀,v₀)，M₂為相機內參數矩陣，包括旋轉矩陣R、平移矩陣T，s是未知的尺度因子；根據靶標平面上已知空間三維坐標和二維圖像坐標的角點信息，獲得雙目相機的內參數矩陣及相對平面靶標的外參數矩陣；

由于相機鏡頭存在畸變，基于圖像畸變原理計算鏡頭畸變，其公式如下：

uk=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2]vk=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2]---(2)]]>

其中，u^k,v^k分別是實際徑像畸變的情況下的圖像行列像素坐標，x,y代表理想無畸變時的連續圖像坐標，k₁,k₂為圖像畸變系數；

最后，采用LM優化方法對相機內外參數及畸變系數進行優化求解；

2)激光平面的標定

將相機位置和激光器位置保持恒定不變，由于激光器投射的激光平面在空間恒定，且激光在被測靶標平面的投影恒屬于激光平面，將平面靶標進行任意移動，通過靶標平面上的激光投影和相機標定結果計算激光平面在全局世界坐標系下的平面方程；

首先，在靶標初始位置標定全局世界坐標系的平面靶標位置，投射激光表面，使用相機采集靶標平面上的激光光條信息，無約束移動靶標平面，使用相機采集多張激光光條圖像，基于圖像畸變公式(2)對圖像進行畸變校正；針對校正后的圖像，激光光條在i位置的圖像像坐標為(uⁱ,vⁱ)，根據公式(3)計算激光光條在攝像機平面上的歸一化坐標：

xsi=(ui-u0i)/αxysi=(vi-v0i)/αy---(3)]]>

根據公式(1)的相機模型推導出公式(4)，求得激光光條在攝像機坐標系下Z軸的坐標值

XwiYwiZci=r11ir12i-xsir21ir22i-ysir31ir32i-1-1(-Ti)---(4)]]>

其中，為激光光條以i位置平面靶標所建立的局部世界坐標系坐標，分別為該位置的旋轉矩陣R的第1,2列，Tⁱ為該位置的平移矩陣，計算該位置時激光光條在攝像機坐標系下X軸、Y軸的坐標

Yci=xsi·ZciYci=ysi·Zci---(5)]]>

由于相機的位置恒定，即相機坐標系恒定，根據相機坐標與全局世界坐標系的關系計算在不同位置拍攝的激光光條點的全局世界坐標：

XwYwZw=R-1[XciYciZci-T]---(6)]]>

其中，X_w，Y_w，Z_w代表被測點在全局世界坐標系里的三維坐標值，R,T分別為全局坐標系相對攝像機坐標系的旋轉、平移矩陣，R^-1為旋轉矩陣R的逆陣；

根據公式(6)計算出不同位置的激光光條在全局世界坐標系下的三維坐標值，由于激光平面在空間位置相對恒定，這些激光光條點都屬于激光平面，因此采用最小二乘法擬合激光平面，其平面方程為：

aX_w+bY_w+cZ_w+d＝0 (7)

其中，a,b,c,d為平面方程系數；

3)激光器旋轉軸的標定

采用電控轉動控制激光投射平面旋轉，按照激光平面的標定方法標定旋轉后的激光平面，兩個平面的交線為旋轉軸，其直線方程為：

a1Xw+b1Yw+c1Zw+d1=0a2Xw+b2Yw+c2Zw+d2=0---(8)]]>

其中，a₁,b₁,c₁,d₁為平面π₁的平面方程系數，為平面π₁的法向量；a₂,b₂,c₂,d₂為平面π₂的平面方程系數，為平面π₂的法向量；根據公式(8)求得旋轉軸l的方向向量

s→=n1→×n2→---(9)]]>

其中，繞旋轉軸l的方向向量逆時針至方向，向量與向量夾角為銳角；計算旋轉軸l的單位方向向量

sd→=s→|s→|---(10)]]>

第二步 掃描激光光條的采集與提取

采用控制裝置同步觸發雙目相機采集與激光器旋轉平臺旋轉，通過雙目相機采集激光光條序列圖像，獲得被測物的三維信息；分別提取圖像中的激光光條信息，首先對圖像進行濾波處理，然后基于Sobel邊緣提取算法計算激光光條邊緣，計算公式如下：

g(i,j)={dx2(i,j)+dy2(i,j)}12dx=-101-202-101dy=-12-1000121---(11)]]>

其中，g(i,j)為圖像坐標為(i,j)的Sobel邊緣檢測算子，d_x和d_y分別為計算的卷積模板；按照灰度重心法，計算激光光條中心，其公式如下：

(vil,uil)=Σj=minmaxjIijlΣj=minmaxIijl---(12)]]>

其中，為激光光條第i行的灰度重心坐標，為第i行第j列灰度值；min為激光光條在圖像每行上的最小列值，max為激光光條在圖像每行上的最大列值；

第三步 基于時間轉軸約束的激光平面重建

1)基于時間轉軸約束的激光平面的重建

設定激光平面的初始位置為基準平面，根據標定結果，基準平面方程為a₁X_w+b₁Y_w+c₁Z_w+d₁＝0，根據公式(10)計算平面的單位法向量由于電控轉臺與相機同步觸發，根據電控轉臺勻角速度為ω，相機響應時間為t，則采集的第h張圖像，激光平面逆時針旋轉角度為：

根據掃描旋轉后的平面與基準平面相交線為旋轉軸，且兩平面夾角為計算掃描旋轉后的第h張圖像中激光平面的單位法向量

根據公式(14)求解得單位法向量

由于光平面過旋轉軸上任意一點，則根據公式(8)取旋轉軸上一點p₀＝(x₀ y₀ z₀)，第h張圖像中激光平面方程為：

a_h(X_w-x₀)+b_h(Y_w-y₀)+c_h(Z_w-z₀)＝0 (15)

其中(X_W Y_W Z_W)為全局坐標系下的坐標值，整理公式(15)可推導得：

a_hX_w+b_hY_w+c_hZ_w+d_h＝0 (16)

其中，a_h,b_h,c_h,d_h為平面π_h的平面方程系數d_h＝-(a_hx₀+b_hy₀+c_hz₀)；

2)雙目相機采集點的匹配

基于第二步的光條采集和提取分別獲得左右相機圖像的激光光條中心的灰度重心，然后采用極限約束法對左右圖像提取的灰度重心進行匹配，其計算公式如下：

(x^l)^TF(x^r)＝0 (17)

其中，x^l＝(u^l,v^l)為左圖像的灰度重心坐標；x^r＝(u^r,v^r)為與x^l相匹配右圖像的灰度重心坐標；F為通過八點法計算的兩相機之間的基本矩陣；若左右圖像中兩點滿公式(17)，則左右圖像中的重心點為匹配點；

3)雙目視覺測量的三維重建

基于雙目視覺測量結果與基于時間轉軸約束獲得的激光平面方程對被測三維點做多重約束，以獲得更為準確的三維坐標；首先根據公式(1)推導得相機采集的圖像坐標與其實際三維世界坐標滿足以下關系：

Zcuv1=M1×M2XwYwZw1=MXwYwZw1=m11m12m13m14m21m22m23m24m31m32m33m34XwYwZw1---(18)]]>

其中，u,v分別是圖像的行列像素坐標值，X_w,Y_w,Z_w代表被測點在世界坐標系里的三維坐標值，Z_c代表在攝像機坐標系下軸的坐標值，M₁、M₂分別為相機內、外參數矩陣，M為投影矩陣；m_ij為投影矩陣M中第i行第j列的值；根據公式(18)推導相機采集激光點的重建方程為：

Xwm11+Ywm12+Zwm13+m14-uXwm31-uYwm32-uZwm33=um34Xwm21+Ywm22+Zwm23+m24-vXwm31-vYwm32-vZwm33=vm34---(19)]]>

根據相機采集激光點的重建公式(19)以及激光器平面的空間方程即公式(16)對被測點進行多重約束優化求解其空間三維坐標，計算公式如下：

{Xwm11l+Ywm12l+Zwm13l+m14l-ulXwm31l-ulYwm32l-ulZwm33l=ulm34lXwm21l+Ywm22l+Zwm23l+m24l-vlXwm31l-vlYwm32l-vlZwm33l=vlm34lXwm11r+Ywm12r+Zwm13r+m14r-urXwm31r-urYwm32r-urZwm33r=urm34rXwm21r+Ywm22r+Zwm23r+m24r-vrXwm31r-vrYwm32r-vrZwm33r=vrm34rahXw+bhYw+chZw+dh=0---(20)]]>

其中，為左、右相機投影矩陣M^l、M^r中第i行第j列的值；u^l,v^l分別是左圖像的灰度重心坐標；u^r,v^r分別是右圖像的灰度重心坐標，且左右圖像的像素點為匹配點；X_w,Y_w,Z_w為最終所求被測點的三維坐標，采用上述方法將雙目相機采集的激光光條序列圖像進行重建，最終獲得被測物的三維形面。