[發明專利]一種基于多約束的高精度雙目相機標定方法

有效

• 申請號: 201810057630.0
• 申請日: 2018-01-22
• 公開（公告）號: CN108053450B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 段桂芳;劉夏;劉振宇;譚建榮
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于多約束的高精度雙目相機標定方法，其特征在于包括以下標定步驟：

(1)使用雙目相機從多個視角方位朝向同一國際象棋黑白棋盤格圖案拍攝多次，獲得多對左右圖像，并以黑白棋盤格圖案中兩條線交叉處的點作為特征點；

(2)使用張正友標定法計算獲得左相機的內參矩陣A_l、左相機的畸變系數D_l、左相機的外參矩陣N_l、右相機的內參矩陣A_r、右相機的畸變系數D_r、右相機的外參矩陣N_r以及由右相機坐標系轉換到左相機坐標系的相機間外參矩陣N_rl，并作為雙目相機的初始參數；

(3)針對每一個世界坐標系下黑白棋盤格圖案中坐標已知的特征點M，將特征點M分別通過左右相機的內外參矩陣計算獲得特征點M在左、右圖像坐標系下的理論圖像點m_l(u_cl,v_cl)、m_r(u_cr,v_cr)，其中u_cl,v_cl分別表示左圖像坐標系下理論圖像點m_l的橫縱坐標，u_cr,v_cr分別表示右圖像坐標系下理論圖像點m_r的橫縱坐標，左、右圖像坐標系是分別以左、右圖像平面為基準的二維笛卡爾坐標系；并對左右圖像進行角點檢測獲得特征點M在左右圖像中對應的實際圖像點

(4)由理論圖像點m_l(u_cl,v_cl)、m_r(u_cr,v_cr)根據步驟(1)獲得左右相機的畸變系數D_l(k_1l,k_2l,p_1l,p_2l)和D_l(k_1r,k_2r,p_1r,p_2r)基于二階徑向和切向畸變的畸變模型采用以下公式計算獲得理論畸變后的圖像點

式中，r_l是理論圖像點m_l到左圖像坐標系原點的距離，r_r是理論圖像點m_r到右圖像坐標系原點的距離；k_1l,k_2l,p_1l,p_2l分別表示左相機的一階徑向畸變系數、二階徑向畸變系數、一階切向畸變系數和二階切向畸變系數，k_1r,k_2r,p_1r,p_2r分別表示右相機的一階徑向畸變系數、二階徑向畸變系數、一階切向畸變系數和二階切向畸變系數，u_dl,v_dl分別表示左圖像坐標系下理論畸變后的圖像點的橫縱坐標，u_dr,v_dr分別表示右圖像坐標系下理論畸變后的圖像點的橫縱坐標；

(5)根據實際圖像點和步驟(4)所得的理論畸變后的圖像點處理獲得重投影誤差累加和J_rep；

所述步驟(5)具體為：計算實際圖像點分別和步驟(4)所得的理論畸變后的圖像點之間的坐標差值，作為重投影誤差；針對每張圖像中的每個特征點均處理獲得重投影誤差，將所有圖像的所有特征點的重投影誤差全部相加獲得重投影誤差累加和J_rep；

(6)根據步驟(1)獲得左右相機的畸變系數D_l和D_r和特征點M在左右圖像中對應的實際圖像點使用無畸變遞歸求解方法計算獲得特征點M在左右圖像中對應的矯正后的無畸變圖像點和并作為無畸變圖像點對

(7)通過無畸變圖像點對和基礎矩陣F計算極線誤差累加和J_epi；

所述步驟(7)具體為：根據對極幾何原理，通過矯正后的無畸變圖像點和基礎矩陣F計算無畸變圖像點對之間的極線誤差，針對每一個特征點M在每對左右圖像中對應的一對無畸變圖像點均處理獲得極線誤差，計算所有對左右圖像中所有無畸變圖像點對的極線誤差累加和J_epi，具體公式為；

式中，表示第i個視角方位拍攝的左圖像下的第j個矯正后的無畸變圖像點的齊次坐標，表示第i個視角方位拍攝的右圖像下的第j個矯正后的無畸變圖像點的齊次坐標，d(*,*)²代表兩個坐標的幾何距離的平方，i表示視角方位拍攝的序號，j表示矯正后的無畸變圖像點的序號，F表示基礎矩陣；

所述步驟(7)中的基礎矩陣F由左、右相機內參矩陣A_l、A_r和相機間的外參矩陣N_rl構成；

(8)由無畸變圖像點和采用最優化三角測量方法計算出滿足對極幾何約束的可用于三維重建的最優左右圖像特征點對最優左右圖像特征點對的兩個點分別和各自相機光心作連線和連線連線和連線相交于空間中一點點作為特征點M的三維重建特征點；

(9)根據三維重建特征點處理獲得相鄰距離誤差累加和J_adj；

所述步驟(9)具體為：計算黑白棋盤格圖案中沿行方向相鄰的每兩個特征點所對應的三維重建特征點之間的空間距離和黑白棋盤格圖案中沿列方向相鄰的每兩個特征點所對應的三維重建特征點之間的空間距離，以空間距離和用游標卡尺測量黑白棋盤格圖案中相鄰兩個特征點實際間距之間的差值作為空間中相鄰三維重建特征點在行和列方向上的相鄰距離誤差，黑白棋盤格圖案中的行方向代表了空間中的行，黑白棋盤格圖案中的列方向代表了空間中的列；

計算所有相鄰距離誤差的累加和，作為相鄰距離誤差累加和j_adj：

其中，D(M_h,M_v)為沿水平/豎直方向相鄰的每兩個特征點所對應的三維重建特征點之間的空間距離，L_adj為用游標卡尺對黑白棋盤格圖案中相鄰特征點間距的測量值，h代表行方向，v代表列方向；

(10)根據三維重建特征點處理獲得共線誤差累加和J_col；

所述步驟(10)具體為：將黑白棋盤格圖案中位于外圍邊緣一圈上的特征點對應獲得的三維重建特征點作為外部三維重建特征點，將黑白棋盤格圖案中位于非邊緣中間的特征點對應獲得的三維重建特征點作為內部三維重建特征點；

對于所有內部三維重建特征點，計算該內部三維重建特征點到和該內部三維重建特征點位于同一行的兩個外部三維重建特征點之間連線的垂直距離，以及該內部三維重建特征點到和該內部三維重建特征點位于同一列的兩個外部三維重建特征點之間連線的垂直距離；計算所有視角方位拍攝的左右圖像下所有內部三維重建特征點的垂直距離的累加和，作為共線誤差累加和J_col；

(11)根據三維重建特征點處理獲得直角誤差累加和J_rig；

所述步驟(11)具體為：黑白棋盤格圖案中位于外圍邊緣一圈四角上的四個特征點對應獲得的三維重建特征點構成一個四邊形，根據余弦定理求取四邊形的四個角的角度，以∠M_ci,j來表示所求角度，計算每個角的角度和直角之間的角度差值；計算所有視角方位拍攝的左右圖像下所有四邊形的四個角對應的角度差值累加和，作為直角誤差累加和J_rig：

其中，∠M_ci,j表示第i個視角方位拍攝的左右圖像下四邊形的第j個角的角度，i表示視角方位拍攝的序號，j表示四個角的角序號；

(12)建立優化目標函數進行求解獲得最優的相機參數，完成對雙目相機的高精度標定；

所述步驟(12)具體是建立以下公式的優化目標函數，然后采用列文伯格-馬夸爾特法對優化目標函數進行求解獲得最優的相機參數；

min J_opt＝J_rep+J_epi+J_adj+J_col+J_rig

其中，J_rep表示重投影誤差累加和，J_epi表示極線誤差累加和，J_adj表示相鄰距離誤差累加和，J_col表示共線誤差累加和，J_rig表示直角誤差累加和。