[發明專利]一種相機和雷達的聯合標定方法和裝置

在審

• 申請號: 202310373411.4
• 申請日: 2023-04-10
• 公開（公告）號: CN116482626A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張慧超
• 申請（專利權）人: 北京經緯恒潤科技股份有限公司
• 主分類號: G01S7/40
• 分類號: G01S7/40;G01S13/86
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王雨

本申請提供了一種相機和雷達的聯合標定方法和裝置，包括：在車輛上的相機內參和雷達均標定的情況下，在標定板處于至少三個位置時，分別確定標定板中心在像素坐標系下的坐標，并分別根據標定板中心的點云信息和/或標定板中心的周圍點的點云信息，確定標定板中心在雷達坐標系下的坐標；根據標定板處于每個位置時，標定板中心分別在雷達坐標系和像素坐標系下的坐標，建立每個位置對應的雷達坐標系與像素坐標系的轉換關系；根據各個位置對應的轉換關系對相機和雷達進行聯合標定，得到相機的旋轉矩陣和平移矩陣。本申請的標定過程無需人為測量水平、垂直偏移距離，提高了標定精度和效率，泛化性強，可推廣性強，且對相機與標定板的距離沒有要求。

技術領域

本申請涉及智能駕駛技術領域，特別是涉及一種相機和雷達的聯合標定方法和裝置。

背景技術

在移動機器人、自動駕駛、輔助駕駛、環境感知等領域，單一傳感器難以滿足對復雜環境的感知需求，多傳感器融合算法成為目前主流算法，融合多傳感器采集信息以進行優勢互補。提高多傳感器融合算法精度的前提是解決傳感器之間的時間同步與空間同步，其中空間同步主要涉及到各傳感器之間的聯合標定。

目前相機和雷達的聯合標定方法主要包括自動聯合標定和人工聯合標定兩大類：自動聯合標定基于已有的標定工具庫實現，例如，基于棋盤格的自動聯合標定通過Autoware實現，基于特征點的自動聯合標定通過Apollo實現；人工聯合標定的過程為，首先測量雷達傳感器與地面的距離，在距離雷達傳感器地面垂直點指定距離處放置標志物，根據水平和垂直距離可以得出標志物在雷達坐標系的坐標，同時確定標志物在相機坐標系下的坐標，并將確定的坐標轉換到像素坐標系，建立2D像素坐標系和3D雷達坐標系的關系，通過移動標志物求解兩個坐標系轉換成立的關系式。

但是，自動聯合標定基于已有的標定工具庫對標定板和相機之間距離有較高要求，并且標定的相機坐標系位置測量不夠準確，對標定環境中強光線敏感，標定的準確性易受環境變量的影響；而采用固定標記物的人工聯合標定方法需要人為測量激光雷達與標定板的距離，偏差較大，測量的準確性不高，同時聯合標定對標記特征點量取的精度要求較高，不精確的坐標數據影響聯合標定結果的準確性，并且該流程完全手動操作，步驟繁瑣。

綜上，現有的相機和雷達的聯合標定方法存在標定流程繁瑣、標定要求高且標定準確性低的問題，亟待解決。

發明內容

有鑒于此，本申請提供了一種相機和雷達的聯合標定方法和裝置，用于解決上述技術問題，其技術方案如下：

一種相機和雷達的聯合標定方法，包括：

在車輛上的相機內參和雷達均標定的情況下，在標定板處于至少三個位置時，分別確定標定板中心在像素坐標系下的坐標，并分別根據標定板中心的點云信息和/或標定板中心的周圍點的點云信息，確定標定板中心在雷達坐標系下的坐標；

根據標定板處于每個位置時，標定板中心分別在雷達坐標系和像素坐標系下的坐標，建立每個位置對應的雷達坐標系與像素坐標系的轉換關系，其中，每個位置對應的轉換關系包括第一轉換方程和第二轉換方程，標定板中心在像素坐標系下的坐標包括第一維度坐標和第二維度坐標，第一轉換方程中包含標定板中心在雷達坐標系下的坐標、對應的第一維度坐標，以及相機的旋轉矩陣和平移矩陣，第二轉換方程中包含標定板中心在雷達坐標系下的坐標、對應的第二維度坐標，以及相機的旋轉矩陣和平移矩陣；

根據各個位置對應的轉換關系對相機和雷達進行聯合標定，得到相機的旋轉矩陣和平移矩陣。

可選的，至少三個位置均位于相機的可視范圍內的點云線束密集區域內。

可選的，在標定板處于至少三個位置時，分別確定標定板中心在像素坐標系下的坐標，并分別根據標定板中心的點云信息和/或標定板中心的周圍點的點云信息，確定標定板中心在雷達坐標系下的坐標，包括：