[發明專利]多傳感器校準系統

在審

• 申請號: 202010598425.2
• 申請日: 2020-06-28
• 公開（公告）號: CN113847930A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 錢辰哲;趙季;馬智杯
• 申請（專利權）人: 圖森有限公司
• 主分類號: G01C25/00
• 分類號: G01C25/00;G01C21/16;G01S19/47;G06K9/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 董莘

本公開涉及一種多傳感器校準系統。公開了用于在車輛上執行多傳感器校準的技術。一種方法包括：從位于車輛上的至少兩個傳感器中的每個傳感器獲得包括車道標志的道路的傳感器數據項；從每個傳感器數據項提取車道標志的位置信息；以及基于確定在來自每個傳感器數據項的車道標志的位置信息與車道標志的先前存儲的位置信息之間的差異，計算至少兩個傳感器的外在參數。

技術領域

本文檔描述了針對位于車輛中的具有預定和/或耐用標記的傳感器執行多傳感器校準的技術。

背景技術

車輛可以包括用于多種目的而附接到車輛的相機。例如，用于安全目的、用于駕駛輔助或用于促進自主駕駛，可以將相機附接到車輛的頂部。安裝在車輛上的相機可以獲得在車輛周圍的一個或多個區域的圖像。這些圖像可以被處理以獲得關于道路或關于車輛周圍的對象的信息。例如，可以分析由相機獲得的圖像，以確定在自主駕駛車輛周圍的對象的距離，從而可以在對象附近安全地操縱自主駕駛車輛。

發明內容

描述了用于校準位于車輛上或車輛中的多個傳感器的示例性多傳感器校準技術。在示例實施例中，自主駕駛車輛操作的方法包括：從位于車輛上的至少兩個傳感器中的每個傳感器獲得包括車道標志的道路的傳感器數據項；從每個傳感器數據項提取車道標志的位置信息；以及，基于確定在來自每個傳感器數據項的車道標志的位置信息與車道標志的先前存儲的位置信息之間的差異，計算至少兩個傳感器的外在參數。

在一些實施例中，從至少兩個傳感器中的每個傳感器獲得傳感器數據項，并且從每個傳感器數據項提取車道標志的位置信息包括：從位于車輛上的相機接收包括車道標志的圖像；從圖像確定車道標志的拐角的像素位置；從位于車輛上的光檢測和測距(LiDAR)傳感器接收幀，幀包括道路的區域的點云數據(PCD)，該道路的區域包括車道標志；以及，確定車道標志的拐角的三維(3D)世界坐標的集合。

在一些實施例中，通過以下方式確定車道標志的拐角的3D世界坐標的集合：基于車輛的位置獲得車道標志的拐角的先前存儲的三維(3D)世界坐標的第二集合，其中車道標志的先前存儲的位置信息包括車道標志的拐角的先前存儲的3D世界坐標的第二集合；以及將車道標志的拐角的先前存儲的3D世界坐標投影到LiDAR傳感器的坐標系，以獲得在幀中的車道標志的拐角的3D世界坐標的集合。

在一些實施例中，通過以下方式來計算至少兩個傳感器的外在參數：針對車道標志的每個拐角計算第一損失函數，第一損失函數計算在車道標志的拐角的像素位置與從第二集合獲得的車道標志的拐角的先前存儲的3D世界坐標之間的距離；針對車道標志的每個拐角計算第二損失函數，第二損失函數計算在從集合獲得的車道標志的拐角的3D世界坐標與從第二集合獲得的車道標志的拐角的先前存儲的3D世界坐標之間的距離；以及，分別基于第一損失函數和第二損失函數，對相機和LiDAR傳感器的外在參數進行估算。

在一些實施例中，通過以下方式將車道標志的拐角的先前存儲的3D世界坐標的第二集合投影到LiDAR傳感器的坐標系：通過將從LiDAR傳感器接收的PCD與點云圖參考的一個或多個點關聯來獲得經變換的點云；從先前獲得的PCD圖提取子圖；執行經變換的點云至子圖的配準，以獲得描述在經變換的點云與子圖之間的變換的第一變換矩陣，其中配準將變換的點云關聯至子圖；確定描述附加變換矩陣，其描述在LiDAR傳感器的位置、點云圖參考的一個或多個點以及與位于車輛中的慣性測量單元-全球導航衛星系統(IMU-GNSS)傳感器相關聯的參考點之間的變換；以及，基于第一變換矩陣、附加變換矩陣和車道標志的拐角的先前存儲的3D世界坐標的第二集合，計算在幀中的車道標志的拐角的3D世界坐標的集合。

在一些實施例中，基于由IMU-GNSS傳感器提供的測量和先前存儲的LiDAR到IMU的外在參數將PCD與點云圖參考關聯，并且先前存儲的LiDAR到IMU的外在參數描述了在LiDAR和IMU-GNSS傳感器的位置與取向之間的空間關系。在一些實施例中，子圖包括在PCD被接收時在車輛位置的預定距離內的點的3D世界坐標。