[發(fā)明專利]照相機(jī)到LiDAR的標(biāo)定和驗證

在審

• 申請?zhí)枺?/td>: 202011500649.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112991454A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: P·A·迪德里希斯;M·迪·奇科;J·S·陳;A·J·奧米勒;F·A·S·魯伊斯
• 申請（專利權(quán)）人: 動態(tài)AD有限責(zé)任公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06K9/46;G06K9/62
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

公開了用以估計和評價照相機(jī)到LiDAR坐標(biāo)變換的外部參數(shù)的精度的自動標(biāo)定和驗證管道。在實施例中，采用一種自動和無監(jiān)督的標(biāo)定過程：自動估計和驗證所計算出的照相機(jī)到LiDAR坐標(biāo)變換的旋轉(zhuǎn)和平移參數(shù)(“外部參數(shù)”)，并且設(shè)置與外部參數(shù)的精度有關(guān)的上限。該標(biāo)定過程將三維(3D)平面、向量和點對應(yīng)關(guān)系組合以確定外部參數(shù)，并且通過分析包括驗證板的過濾點云在圖像空間中的投影來驗證如此得到的坐標(biāo)變換。使用單個照相機(jī)圖像和LiDAR掃描(“單步”)來標(biāo)定和驗證外部參數(shù)。除了僅要求單步之外，整個過程僅僅依賴于一個或多個平面標(biāo)定板和簡單的幾何驗證板。

技術(shù)領(lǐng)域

本說明書通常涉及運(yùn)載工具的操作，并且具體涉及照相機(jī)到LiDAR(光檢測和測距)的標(biāo)定和驗證(calibration and validation)。

背景技術(shù)

許多機(jī)器人任務(wù)依賴于傳感器融合來克服各個體傳感器的缺點。自主運(yùn)載工具例如通過融合從車載傳感器獲得的互補(bǔ)感覺信息來操作。在感知管道內(nèi)，運(yùn)載工具的照相機(jī)所感知到的密集二維顏色、外觀和紋理信息與由運(yùn)載工具的光檢測和測距系統(tǒng)(LiDAR)提供的稀疏三維深度和結(jié)構(gòu)信息相關(guān)聯(lián)。這使得自主運(yùn)載工具能夠生成對周圍環(huán)境的更深入了解。

多模態(tài)傳感器數(shù)據(jù)的融合要求相對于共同的坐標(biāo)系表示所有的傳感器信息。因此，需要計算安裝到機(jī)器人平臺的各傳感器的準(zhǔn)確姿態(tài)(朝向和平移)。傳感器支架的制造中的差異通常意味著不能從示意圖推斷出準(zhǔn)確的傳感器姿態(tài)。另外，由于外部標(biāo)定值可能會因由急速移動引起的傳感器的姿態(tài)的移位而隨時間的經(jīng)過發(fā)生漂移，因此可能需要重新標(biāo)定傳感器套件。

在該領(lǐng)域的研究已產(chǎn)生了精確地估計外部參數(shù)的許多解決方案。然而，許多所提出的解決方案仍需要人工干預(yù)，受到監(jiān)督，因此不能很好地擴(kuò)展到商業(yè)平臺。另外，所提出的解決方案未能應(yīng)對用于評價所估計的剛體變換的精度的挑戰(zhàn)。為了證明傳感器融合有效，外部標(biāo)定必須極其精確。外部參數(shù)的小偏差可能會對融合產(chǎn)生不利影響。因此，必須保證和維持與諸如自主駕駛等的安全關(guān)鍵任務(wù)的精度有關(guān)的界限。

發(fā)明內(nèi)容

提供了用于使用單個照相機(jī)圖像和LiDAR掃描(以下也稱為“單步(singleshot)”)的照相機(jī)到LiDAR變換的外部參數(shù)的自動和無監(jiān)督標(biāo)定和驗證的技術(shù)。在實施例中，自動標(biāo)定和驗證管道估計和評價旋轉(zhuǎn)和平移元素(“外部參數(shù)”)的精度。標(biāo)定過程將三維(3D)平面、向量和點對應(yīng)關(guān)系組合以估計照相機(jī)到LiDAR坐標(biāo)變換的外部參數(shù)。

還提供了用于使用形狀與相框共享相似度的簡單驗證板來驗證標(biāo)定的技術(shù)。通過將LiDAR點投影到照相機(jī)圖像上并觀察由兩個傳感器在照相機(jī)的整個視野中捕獲到的驗證板的共同特征，來定性地評價標(biāo)定的精度。如果與特定共同驗證板相對應(yīng)的LiDAR點停留在照相機(jī)圖像中的驗證板上，則標(biāo)定被分類為可接受的。