[發(fā)明專利]一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法

在審

• 申請?zhí)枺?/td>: 202110993256.7
• 申請日: 2021-08-26
• 公開（公告）號: CN113721260A
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 肖建;江斌;章佳琪;梅青;黃麗;劉心維
• 申請（專利權(quán)）人: 南京郵電大學
• 主分類號: G01S17/93
• 分類號: G01S17/93;G01S17/86;G01S13/93;G01S13/86;G01C21/16;G06T7/80
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

1.一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，所述方法包括：

獲取激光雷達數(shù)據(jù)、雙目相機圖像數(shù)據(jù)和慣導數(shù)據(jù)；

對雙目相機圖像數(shù)據(jù)、激光雷達數(shù)據(jù)進行實時直線特征提取，獲得圖像特征幀和激光雷達特征幀；將單個圖像特征幀與對應的相鄰的慣導數(shù)據(jù)預積分結(jié)果相結(jié)合構(gòu)造單目相機-慣導數(shù)據(jù)對，將單個激光雷達特征幀與對應的相鄰的慣導數(shù)據(jù)預積分結(jié)果相結(jié)合構(gòu)造激光雷達-慣導數(shù)據(jù)對；

根據(jù)單目相機-慣導數(shù)據(jù)對和激光雷達-慣導數(shù)據(jù)對信息，計算最優(yōu)的單目相機與慣導以及激光雷達與慣導的外參；

以慣導數(shù)據(jù)的時間戳為基準，對齊激光雷達數(shù)據(jù)和雙目相機圖像數(shù)據(jù)的時間戳，構(gòu)造激光雷達-相機數(shù)據(jù)對，優(yōu)化重投影誤差并計算激光雷達和單目相機之間的外參；

將圖像特征幀中的直線特征的坐標系統(tǒng)一到世界坐標系下，構(gòu)造相機-相機數(shù)據(jù)對并進行配準，計算兩個單目相機之間的外參；

將單目相機-慣導、激光雷達-慣導、激光雷達-單目相機和單目相機-單目相機的外參進行全局優(yōu)化，完成在線聯(lián)合標定。

2.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，獲取激光雷達數(shù)據(jù)、雙目相機圖像數(shù)據(jù)和慣導數(shù)據(jù)，并對慣導數(shù)據(jù)進行預積分處理，初始化系統(tǒng)位姿。

3.根據(jù)權(quán)利要求2所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，獲取激光雷達數(shù)據(jù)、雙目相機圖像數(shù)據(jù)和慣導數(shù)據(jù)，并對慣導數(shù)據(jù)進行預積分處理，初始化系統(tǒng)位姿的方法包括：

通過ROS實時獲取激光雷達的點云數(shù)據(jù)、雙目相機的圖像數(shù)據(jù)和慣導的加速度、角速度數(shù)據(jù)；

對慣導的加速度和角速度進行預積分處理，計算得到系統(tǒng)的初始位姿，所述初始位姿包括速度、旋轉(zhuǎn)和平移。

4.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，對單幀圖像幀和單幀激光雷達幀數(shù)據(jù)分別進行實時直線特征提取的方法包括：

利用改進的LSD算法提取圖像幀的直線特征并過濾；

利用改進的RANSAC算法提取激光雷達幀的直線特征并過濾；

保存每一幀圖像和點云數(shù)據(jù)的直線特征信息。

5.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，計算最優(yōu)的單目相機與慣導以及激光雷達與慣導的外參的方法包括：

將慣導預積分計算出的運動變換作用在當前時間戳的圖像直線特征幀上，獲得預測的下一幀圖像直線特征幀，再利用LM非線性優(yōu)化算法將預測的下一幀圖像直線特征幀和真實的從圖像原始數(shù)據(jù)提取到的下一幀圖像直線特征幀作為算法輸入，計算兩者的重投影誤差，得到相機-慣導的外參；

將慣導預積分計算出的運動變換作用在當前時間戳的激光雷達直線特征幀上，獲得預測的下一幀激光雷達直線特征幀，再利用LM+NDT非線性優(yōu)化算法將預測的下一幀激光雷達直線特征幀和真實的從激光雷達原始數(shù)據(jù)提取到的下一幀激光雷達直線特征幀作為算法輸入，計算兩者的重投影誤差，得到激光雷達-慣導的外參。

6.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，對齊激光雷達數(shù)據(jù)和雙目相機圖像數(shù)據(jù)的時間戳的方法包括：

以慣導數(shù)據(jù)的時間戳作為基準，通過TimeSynchronizer濾波器統(tǒng)一接收激光雷達和兩個單目相機的數(shù)據(jù)；當所有數(shù)據(jù)都有相同的時間戳時，產(chǎn)生一個同步結(jié)果的回調(diào)函數(shù)，在回調(diào)函數(shù)里處理同步時間后的數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，計算激光雷達和單目相機之間的外參的方法包括：

對在時間戳上相鄰的激光雷達-相機數(shù)據(jù)對的直線特征進行PNP求解，計算出相機坐標系和雷達坐標系之間的外參。

8.根據(jù)權(quán)利要求1所述的一種激光雷達、雙目相機和慣導的在線聯(lián)合標定方法，其特征在于，計算兩個單目相機之間的外參的方法包括：

利用SIFT算法將兩個圖像幀中的直線特征進行匹配，并將圖像二維坐標統(tǒng)一到世界坐標系下，計算兩相機之間的外參。