[發明專利]一種基于ROS的激光雷達、攝像頭的融合標定系統及標定方法

有效

• 申請號: 201910575101.4
• 申請日: 2019-06-28
• 公開（公告）號: CN110390695B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 殷國棟;薛培林;劉帥鵬;吳愿;耿可可;莊偉超;黃文涵
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐爾東

1.一種基于ROS的激光雷達、攝像頭的融合標定系統，其特征在于：包括雷達標定模塊，其用于獲取激光雷達的外部參數，即激光雷達的雷達坐標系到世界坐標系的變換關系；

相機標定模塊，用于獲取攝像頭的內部參數；

融合標定模塊，用于接收激光雷達的外部參數以及相機的內部參數，求解相機的外部參數，即求解出世界坐標系到相機坐標系的變換關系；

前述的雷達標定模塊、相機標定模塊以及融合標定模塊之間基于ROS平臺實現數據的傳輸；

前述的雷達標定模塊包括激光雷達，還包括樁桶以及兩塊標定板，

前述的相機標定模塊包括攝像頭以及一塊標定板；

前述的雷達標定模塊，通過放置在激光雷達外部不同位置處的樁桶以及兩塊標定板，提取樁桶的一個角點以及兩塊標定板中的6-8個角點，獲取所有角點在世界坐標系中的坐標以及在雷達坐標系中的坐標，通過解方程獲取雷達坐標系至世界坐標系的變換矩陣；

前述的相機標定模塊，通過將標定板在攝像頭中置于不同角度及位置，且基于ROS獲取相機內部參數，即將相機坐標系中的物體成像至像素坐標；

前述的融合標定模塊，將雷達標定模塊中的7-9個角點在雷達坐標系中的坐標變換至世界坐標系中的坐標，同時通過相機標定模塊獲取前述7-9個角點的像素坐標，通過求解位姿估計問題，得到世界坐標系至像素坐標系的轉換關系，實現三維物體與二維像素的匹配，即融合。

2.一種基于ROS的激光雷達、攝像頭的融合標定方法，用于如權利要求1所述的融合標定系統，其特征在于：包括以下步驟：

第一步：通過相機標定模塊獲取攝像頭的內部參數，即相機坐標系至像素坐標系的轉換關系；

第二步：通過雷達標定模塊獲取激光雷達坐標與世界坐標之間的外部參數，即雷達坐標系與世界坐標系之間的轉換關系；

第三步：在融合模塊中，獲取雷達標定模塊中樁桶以及兩塊標定板的7-9個角點作為特征點，其中選取9個特征點，分別獲取前述9個特征點分別在世界坐標系、像素坐標系中的坐標；

第四步：通過融合標定模塊求解位姿估計問題，即求解出上述9個特征點世界坐標系到像素坐標系的轉換關系，前述轉換關系的實現通過DLS、UPnP、P3P以及EPnP算法實現，完成兩者的融合；

第五步：將激光雷達實時獲取的點云數據通過轉換關系即變換矩陣投影至攝像頭獲取的圖像中，驗證是否對應，若兩者匹配有誤則繼續重復第一步至第四步步驟；

第六步：若兩者匹配無誤，則證明已經獲取世界坐標系至像素坐標系的轉換關系，完成融合工作。

3.根據權利要求2所述的基于ROS的激光雷達、攝像頭的融合標定方法，其特征在于：前述的第一步中通過相機標定模塊獲取攝像頭的內部參數，具體包括以下步驟：

第11步，準備好帶有黑板棋盤格的標定板；

第12步：利用基于ROS平臺的攝像頭調用可見光攝像頭，并通過內置或編寫顯示圖像的ROS包，完成攝像頭數據的調用以及實時顯示；

第13步：啟動ROS平臺中的單目相機標定工具；

第14步：移動標定板到畫面的最左、最右，最上方、最下方，移動標定板到視野的最近處和最遠處，移動標定板使其充滿整個畫面，同時保持標定板傾斜狀態，獲取標定板在畫面各個位置對應的數據，完成相機內參標定。

4.根據權利要求2所述的基于ROS的激光雷達、攝像頭的融合標定方法，其特征在于：前述標定方法中的第二步，具體包括以下步驟：

第21步：將激光雷達供電，激光雷達發射器發射激光束，激光雷達接收器接收反射回來的點云數據；

第22步：利用ROS平臺打開工控機網口，接收激光雷達點云數據，將消息轉化為基于ROS平臺下的點云標準數據；

第23步：通過在激光雷達前方人為設置具有角點的裝置，即一塊樁桶及兩塊標定板，獲取其6-8個角點的世界坐標系中的坐標以及雷達坐標系坐標；

第24步：求解位姿變換問題，得到雷達坐標系相對于世界坐標系的變換關系。