[發明專利]一種基于多傳感器融合的雙目相機在線標定方法及系統

有效

• 申請號: 202210057189.2
• 申請日: 2022-01-19
• 公開（公告）號: CN114092569B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 范柘
• 申請（專利權）人: 安維爾信息科技（天津）有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06V10/74
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 陸惠中

1.一種基于多傳感器融合的雙目相機在線標定方法，包括如下步驟： S10，對所述雙目相機的左相機與右相機的相互姿態進行第一自標定；

S20，獲取所述多傳感器的實時檢測數據，根據所述實時檢測數據對所述雙目相機在載具坐標系下的姿態進行第二自標定；

步驟S10中，所述對所述雙目相機的左相機與右相機的相互姿態進行第一自標定，包括：

S110，獲取左相機、右相機針對同一場景同時拍攝的圖像，對所述圖像進行特征提取與匹配，以得出第一匹配特征點集；

S111，利用平行校正算法對所述第一匹配特征點集中的各第一匹配特征點進行平行校正；

S112，判斷平行校正后的所述第一匹配特征點是否滿足第一條件，若是，則判定所述雙目相機的第一姿態參數合格，輸出標定參數；若否，則轉S113；

S113，對所述雙目相機的姿態參數進行修正；

所述判斷所述校正后的第一匹配特征點是否滿足第一條件，包括：

若平行校正后的所述第一匹配特征點分布在同一行/列，則判定所述雙目相機的第一姿態參數合格；若平行校正后的所述匹配特征點分布在不同行/列，則判定所述雙目相機的第一姿態參數不合格；

步驟S113中，所述對所述雙目相機的姿態參數進行修正，包括：

旋轉修正：構建誤差函數，使用非線性優化手段對旋轉角度進行旋轉修正，使得平行校正后的匹配特征點分布于同一行；

平移修正：利用對極約束獲得尺度因子，把所有對極約束求解出的平移矩陣按照相同的尺度因子進行縮放求解出平移矩陣，根據所述平移矩陣進行平移修正；

所述構建誤差函數，包括如下步驟：

S1130，以左相機為基準，則左眼的旋轉矩陣為單位矩陣，平移矩陣為0矩陣；設右眼的旋轉矩陣為R，平移矩陣為T，將R分解為兩個旋轉矩陣和；

S1131，根據Bouguet算法求解得出左校正矩陣、右校正矩陣，分別為：，，其中，僅和T有關；

則對于一個3D點來說，其在左右成像平面上的成像點分別為：和；

其中，代表左相機3*3內參矩陣，表示右相機的3*3內參矩陣，是世界坐標系下的某點三維坐標，和分別為同一個世界點在左相機坐標系和右相機坐標系的三維坐標，表示右眼相機相對于左眼相機的平移矩陣；

S1132，誤差函數構建為兩所述成像點連線與圖像坐標系X軸正方向的夾角：，其中，表示世界坐標系下一3D點在左右相機成像平面上的成像點的連線與圖像坐標系X軸正方向的夾角；

針對旋轉矩陣R進行優化使誤差最小，即可優化出R的最優解。

2.根據權利要求1所述的一種基于多傳感器融合的雙目相機在線標定方法，其特征在于：步驟S20中，所述獲取所述多傳感器的實時檢測數據，根據所述實時檢測數據對所述雙目相機在載具坐標系下的姿態進行第二自標定，包括：

S200，定義載具坐標系和地面坐標系；

S201，獲取所述載具的里程信息，根據所述里程信息求解出所述雙目相機相對所述載具坐標系的偏移值，根據所述偏移值對所述雙目相機進行在線標定。

3.根據權利要求2所述的一種基于多傳感器融合的雙目相機在線標定方法，其特征在于：步驟S201中，所述根據所述里程信息求解出所述雙目相機相對所述載具坐標系的偏移值，包括：

S2010，通過視差圖生成V視差圖，在V視差圖中進行地面像素提取，得到地面點在左相機坐標系中的坐標，進而重建地面；

S2011，根據所述標定參數，求解出所述載具坐標系下的地面方程；

S2012，對左相機輸入的前后幀圖像進行特征匹配，獲得前后幀圖像的第二匹配特征點；

S2013，根據所述地面方程分別對前后幀的第二匹配特征點進行三維重建，獲得其在不同時刻的3D坐標；

S2014，通過求解超定方程 P' = R*P+T獲得所述前后幀圖像之間的第一運動參數，其中，所述第一運動參數包括旋轉矩陣R和平移矩陣T；

S2015，對IMU的檢測數據進行分段積分，以獲得載具在所述前后幀圖像之間的第二運動參數；

S2016，根據所述雙目相機的第一運動參數和所述載具的所述第二運動參數，通過方程 求解得出所述雙目相機在所述載具坐標系中的第二姿態參數，其中，代表相機坐標系轉到載具坐標系的變換矩陣；

S2017，根據所述第二姿態參數和所述標定參數確定出所述雙目相機相對所述載具坐標系的偏移值。