[發明專利]照相機到LiDAR的標定和驗證

在審

• 申請號: 202011500649.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112991454A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: P·A·迪德里希斯;M·迪·奇科;J·S·陳;A·J·奧米勒;F·A·S·魯伊斯
• 申請（專利權）人: 動態AD有限責任公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06K9/46;G06K9/62
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種方法，包括：

從運載工具的光檢測和測距傳感器即LiDAR傳感器接收包括從一個或多個標定板所返回的第一組LiDAR點的第一點云；

從所述運載工具的照相機傳感器接收包括所述一個或多個標定板的第一照相機圖像；

使用所述運載工具的一個或多個處理器，從所述第一組LiDAR點和所述第一照相機圖像中提取所述一個或多個標定板的特征；

使用所述一個或多個處理器，將從所述第一組LiDAR點和所述第一照相機圖像中所提取的特征相關聯，以確定匹配的特征；

使用所述一個或多個處理器，至少部分基于匹配的特征來估計從LiDAR坐標到照相機坐標或者從照相機坐標到LiDAR坐標的坐標變換的外部參數；

從所述LiDAR傳感器接收包括從一個或多個驗證板所返回的第二組LiDAR點的第二點云；

從所述照相機傳感器接收包括所述一個或多個驗證板的第二照相機圖像；

使用所述坐標變換將所述第二組LiDAR點投影到所述第二照相機圖像中的所述一個或多個驗證板上；

使用所述一個或多個處理器，估計與所估計的外部參數的精度有關的一個或多個上限；

使用所述一個或多個處理器，根據所計算出的與精度有關的一個或多個上限，來確定所述第二組LiDAR點中的指定數量或百分比的LiDAR點是否位于所述第二照相機圖像中所包括的所述一個或多個驗證板上或內；以及

根據在與精度有關的上限內、來自所述第二組LiDAR點的指定數量或百分比的LiDAR點位于所述第二照相機圖像中的所述一個或多個驗證板上或內，將所述坐標變換的所估計的外部參數視為有效。

2.根據權利要求1所述的方法，其中，所提取的特征包括用于對所述一個或多個標定板的平面進行定義的向量的量，并且通過將LiDAR坐標中的向量的量與照相機坐標中的對應向量的量對齊來估計所述外部參數，以及其中，在向量的量在與向量的量的旋轉和平移有關的所定義的約束內相對應的情況下，向量的量匹配。

3.根據權利要求1或2所述的方法，其中，估計與精度有關的一個或多個上限考慮了與手動測量的平移參數相關聯的不確定性、以及所述一個或多個驗證板的尺寸和位置。

4.根據權利要求1至3中任一項所述的方法，其中，使用兩個驗證板，第一驗證板與照相機相距第一距離，并且第二驗證板與照相機相距比所述第一距離遠的第二距離，以及其中，所述第一驗證板用于估計與所估計的外部參數中所包括的所估計的平移參數的精度有關的第一上限，并且所述第二驗證板用于估計與所估計的外部參數中所包括的所估計的旋轉參數有關的第二上限。

5.根據權利要求3所述的方法，其中，與所估計的外部參數的估計側傾角有關的上限是從兩個驗證板中的較大驗證板的長度和厚度導出的。

6.根據權利要求1至5中任一項所述的方法，其中，使用所述運載工具的一個或多個處理器來從所述第一組LiDAR點中提取所述一個或多個標定板的特征還包括：

將所述第一組LiDAR點聚類為LiDAR點的空間簇；

針對各簇，

過濾該簇內的LiDAR點以檢測離群LiDAR點；

通過從該簇中去除任何檢測到的離群LiDAR點來細化該簇；

通過該簇的凸包過濾該簇，其中所述凸包形成已知尺寸的矩形；

檢測該簇中的邊緣點；

將所述邊緣點投影到該簇的平面上；

將二維矩形即2D矩形擬合到所述邊緣點；

通過對約束優化問題進行公式化和求解，確定所擬合的2D矩形是否定義了標定板，所述約束優化問題包含與所述2D矩形的幾何形狀和尺寸有關的先驗；以及

根據所擬合的2D矩形定義了標定板，導出所述2D矩形的平面向量、邊界向量和質心作為所述標定板的特征。

7.根據權利要求6所述的方法，其中，檢測簇中的邊緣點包括：針對表現出大于閾值的深度連續性的點來對點云進行過濾；在如下的波束上識別過濾點，所述波束的深度值低于同一波束上的兩個最近鄰LiDAR點至少之一的深度值；計算所檢測到的邊緣點之間的交點；以及將各邊緣點鏈接至包含該邊緣點的簇。