[發明專利]一種長焦雙目相機的立體標定算法

有效

• 申請號: 201911152607.0
• 申請日: 2019-11-22
• 公開（公告）號: CN110969668B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 仲維;柳博謙;李豪杰;王智慧;劉日升;樊鑫;羅鐘鉉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

1.一種長焦雙目相機的立體標定算法，其特征在于，包括下列步驟：

1)棋盤格角點檢測：用長焦雙目相機拍攝棋盤格標定板圖像，檢測并匹配棋盤格角點，并獲取棋盤格沒有覆蓋到的區域；

2)場景特征點檢測：用長焦雙目相機拍攝場景圖像，檢測并提取特征點；

3)特征點匹配：根據匹配窗口下的特征描述值，來對左右圖像上提取的特征點進行匹配，并刪除重復的匹配；

4)拋物線擬合優化匹配結果：通過一元二次拋物線擬合來對匹配的結果進行優化；

5)判斷特征點覆蓋區域：將圖像分成m*n個格子，當特征點覆蓋到所有格子，則進行下一步，否則繼續拍攝場景圖像，重復步驟2)～步驟4)；

6)修正內參標定結果：使用標定板上的特征點的圖像坐標和世界坐標來對內參修正；步驟6)中修正內參標定結果，具體包括以下步驟：

6-1)獲取原來的標定結果：從長焦雙目相機硬件本身獲取兩個鏡頭的參數，包括x方向和y方向的焦距f_x和f_y，單位：像素，鏡頭主點位置u₀和v₀；

6-2)對每一張棋盤格角點圖像P_i，進行以下步驟：

(1)獲取棋盤格角點圖像P_i下圖像坐標和標定板坐標之間的旋轉矩陣R和平移向量T；根據攝像機模型，設三維世界坐標的點為M＝[X,Y,Z,1]^T，二維相機平面像素坐標為m＝[u,v,1]^T，則標定用的棋盤格平面到圖像平面的單應性關系為：

其中s為尺度因子，K為攝像機內參數，規定棋盤格平面為Z＝0，則有

K[r₁?r₂?t]為單應性矩陣H，即

H＝[h₁h₂h₃]＝K[r₁?r₂?t]

計算棋盤格坐標系和圖像坐標系之間的單應矩陣H；單應性矩陣計算完成之后，計算圖像坐標和標定板坐標之間的旋轉矩陣R和平移向量t，計算公式如下：

r₃＝r₁×r₂

t＝λK^-1h₃

其中，λ表示歸一化系數；

(2)設采集了n'副包含棋盤格的圖像，每個圖像里有棋盤格角點m'個；令第i副圖像上的角點M_ij在得到的攝像機矩陣下圖像上的投影點為：

其中R_i和t_i是第i副圖對應的旋轉矩陣和平移向量，ΔR_i和Δt_i分別是R_i和t_i的變化量；K是內參數矩陣，其變化量為ΔK，表示角點M_ij在得到的攝像機矩陣下圖像上的投影點；則角點m_ij的概率密度函數為：

構造似然函數：

讓L取得最大值，即讓下面式子最小；使用多參數非線性系統優化問題的Levenberg-Marquardt算法進行迭代求最優解：

7)修正外參標定結果：根據匹配后的棋盤格角點坐標以及場景特征點坐標對標定結果進行修正；步驟7)中修正外參標定結果，具體包括以下步驟：

7-1)計算匹配的左右特征點對應的正規坐標系下的坐標

像素坐標系以圖片的左上角為原點，其x軸和y軸分別與圖像坐標系的x軸和y軸平行；像素坐標系的單位是像素；正規坐標系以相機的光心作為圖像坐標系的原點，且將光心到圖像平面的距離縮放到1；像素坐標與正規坐標的關系如下：

u＝KX

其中，表示圖像的像素坐標；表示相機的內參矩陣，f_x和f_y分別表示圖像x方向和y方向的焦距，單位是像素，(c_x,c_y)表示相機駐點的位置；是正規坐標系下的坐標；已知圖像的像素坐標系以及相機的內參計算出像素點對應的正規坐標系，即

X＝K^-1u

對于每一對左右相機匹配特征點它們的正規坐標系為：

其中，和分別是和的像素坐標，和分別是和的正規坐標，K_l和K_r分別是左相機和右相機的內參矩陣；

7-2)去除圖像畸變

根據左右圖像特征點的正規坐標和左右相機各自的畸變系數來計算出左右圖像特征點去畸變后的正規坐標；

圖像徑向畸變是圖像像素點以畸變中心為中心點，沿著徑向產生的位置偏差，從而導致圖像中所成的像發生形變；徑向畸變的表述如下：

x_d＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_d＝y(1+k₁r²+k₂r⁴+k₃r⁶)

其中，r²＝x²+y²，k₁、k₂、k₃為徑向畸變參數；

切向畸變是由于攝像機制造上的缺陷，使得透鏡本身與圖像平面不平行而產生的，定量描述為：

x_d＝x+(2p₁xy+p₂(r²+2x²))

y_d＝y+(p₁(r²+2y²)+2p₂xy)

其中，p₁、p₂為切向畸變系數；

綜上，畸變前后的坐標關系如下：

x_d＝x(1+k₁r²+k₂r⁴+k₃r⁶)+(2p₁xy+p₂(r²+2x²))

y_d＝y(1+k₁r²+k₂r⁴+k₃r⁶)+(p₁(r²+2y²)+2p₂xy)

其中，(x,y)是理想狀態下的正規坐標，(x_d,y_d)是實際帶有畸變的正規坐標；以(x_d,y_d)作為(x,y)的初值，迭代計算得到實際的(x,y)；

7-3)根據原來兩相機的旋轉關系將左右兩圖旋轉：已知原來左右相機之間的旋轉矩陣R和平移向量t，使得

X_r＝RX_l+t

其中，X_l表示左相機的正規坐標，X_r表示右相機的正規坐標；將左圖旋轉矩陣R正方向一半的角度，將右圖旋轉矩陣R反方向一半的角度；

對于上一步得到的每一對去畸變之后的左右特征點的正規坐標

7-4)根據公式u＝KX將去畸旋轉后的圖像還原至像素坐標系；根據上一步更新的左右特征點的正規坐標計算去畸校正后的圖像坐標：

7-5)根據左右兩圖去畸校正后的特征點對坐標以及左右相機的內參矩陣來求解基礎矩陣F和本質矩陣E：左右對應像素點對u_l、u_r和基礎矩陣F的關系是：

使用隨機抽樣一致性對點對做進一步篩選，之后將對應點坐標代入上式，構建齊次線性方程組求解F；

基礎矩陣和本質矩陣的關系是：

其中，K_l、K_r分別是左右相機的內參矩陣；

7-6)從本質矩陣分解出校正之后左右相機旋轉和平移關系：本質矩陣E與旋轉矩陣R和平移向量t的關系如下：

E＝[t]_×R

其中[t]_×表示t的叉乘矩陣；

將E做奇異值分解，得：

定義兩個矩陣：

和ZW＝Σ

所以E寫成以下兩種形式

(1)E＝UZU^TUWV^T

令[t]_×＝UZU^T，R＝UWV^T

(2)E＝-UZU^TUW^TV^T

令[t]_×＝-UZU^T，R＝UW^TV^T

得到四對R和t，選取具有三維意義的解；

7-7)將分解出的旋轉和平移關系疊加到原來的外參里面

記去畸變前的旋轉矩陣為R，平移向量為t＝(t_x,t_y,t_z)^T；將步驟6-2)計算出的旋轉矩陣R記為R′，平移向量t記為t′＝(t′_x,t′_y,t′_z)^T；則新的R_new和t_new如下

R_new＝R^1/2R′R^1/2