[發(fā)明專利]用于校準(zhǔn)圖像傳感器的外部參數(shù)的方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911333327.X
• 申請(qǐng)日: 2019-12-17
• 公開(kāi)（公告）號(hào): CN111336951B
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: S·馬爾卡塞里
• 申請(qǐng)（專利權(quán)）人: 大陸汽車有限責(zé)任公司
• 主分類號(hào): G01B11/26
• 分類號(hào): G01B11/26
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 牛曉玲;吳鵬

本發(fā)明提供了校準(zhǔn)圖像傳感器的一個(gè)或多個(gè)外部參數(shù)的方法，包括選擇在由圖像傳感器捕獲的圖像幀中出現(xiàn)的第一組平行特征邊緣并確定第一組特征邊緣的基準(zhǔn)消失點(diǎn)，該基準(zhǔn)消失點(diǎn)位于投影參照系上。選擇與第一組特征邊緣平行的第二組平行特征邊緣，并基于圖像傳感器的預(yù)先存在的投影矩陣將來(lái)自第二組特征邊緣的多個(gè)點(diǎn)投影到圖像傳感器的投影參照系上。為第二組特征邊緣確定位于投影參照系上的第二消失點(diǎn)并遞歸地執(zhí)行至少以下步驟以減小第二消失點(diǎn)與基準(zhǔn)消失點(diǎn)的任何位置偏差，直到該偏差在可接受的預(yù)定極限內(nèi)：通過(guò)調(diào)節(jié)外部參數(shù)修改投影矩陣，使用修改后的投影矩陣將來(lái)自第二組特征邊緣的多個(gè)點(diǎn)投影到投影參照系上，在投影之后確定第二消失點(diǎn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及用于校準(zhǔn)圖像傳感器的一個(gè)或多個(gè)外部參數(shù)的方法、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)代車輛經(jīng)常配備有各種旨在輔助駕駛者駕駛車輛的電子系統(tǒng)。這些電子系統(tǒng)通常涉及一個(gè)或多個(gè)車載圖像傳感器的使用，所述圖像傳感器用于捕獲車輛及其外部環(huán)境的圖像。對(duì)捕獲的圖像進(jìn)行分析，并且可以單獨(dú)使用，也可以與來(lái)自其它環(huán)境傳感器的輸入結(jié)合使用，以提供一個(gè)或多個(gè)駕駛者輔助功能，例如目標(biāo)檢測(cè)、車道偏離警告、泊車輔助和距離測(cè)量。車載視覺(jué)傳感器還可用于為駕駛者提供更全面的外部環(huán)境視圖，包括訪問(wèn)以前無(wú)法獲得的視點(diǎn)。這是通過(guò)向駕駛者顯示通過(guò)將來(lái)自安裝在車輛不同部位的多個(gè)視覺(jué)傳感器的圖像拼接在一起而生成的合成圖像來(lái)實(shí)現(xiàn)的。一個(gè)示例是環(huán)視系統(tǒng)，其通常包括四個(gè)外部安裝在車輛前部、后部和側(cè)面的廣角視覺(jué)傳感器。環(huán)視系統(tǒng)中的圖像傳感器通常具有大于180度的水平視場(chǎng)。通過(guò)將來(lái)自環(huán)視圖像傳感器的圖像拼接在一起來(lái)獲得車輛環(huán)境的360度視圖。

但是，生成合成圖像的過(guò)程包括在將來(lái)自不同圖像傳感器的圖像拼接在一起之前將它們對(duì)齊。這需要了解用于將現(xiàn)實(shí)世界中的3D點(diǎn)映射到圖像傳感器的2D圖像平面的投影矩陣。類似地，對(duì)于其它基于圖像的駕駛者輔助功能(例如來(lái)自圖像的距離測(cè)量)的操作，也需要對(duì)投影矩陣的了解。與圖像傳感器相關(guān)聯(lián)的實(shí)際投影矩陣可以根據(jù)所使用的傳感器的類型而變化，但是投影矩陣通常在與圖像傳感器相關(guān)聯(lián)的固有和外部參數(shù)方面進(jìn)行定義。固有參數(shù)通常與圖像傳感器的光學(xué)器件有關(guān)，亦即，光如何通過(guò)圖像傳感器投射到傳感器的圖像平面上。它們包括諸如焦距和焦點(diǎn)的參數(shù)。另一方面，外部參數(shù)涉及圖像傳感器的位置和取向，并且可以相對(duì)于用作參照系的坐標(biāo)軸(即絕對(duì)外部參數(shù))來(lái)定義。位置相關(guān)的外部參數(shù)描述圖像傳感器沿著參照系的x、y和z軸的位置，而取向相關(guān)的外部參數(shù)描述圖像傳感器沿著x、y和z軸的旋轉(zhuǎn)。通常用作外部參數(shù)的參照系的坐標(biāo)軸的示例包括車輛坐標(biāo)系和世界坐標(biāo)系，在車輛坐標(biāo)系中坐標(biāo)軸的原點(diǎn)位于車輛本身上。圖像傳感器的外部參數(shù)也可以相對(duì)于其它圖像傳感器的外部參數(shù)進(jìn)行測(cè)量(即相對(duì)外部參數(shù))。

因此，為了促進(jìn)基于圖像的駕駛者輔助功能的正確操作，用于建立圖像傳感器的外部參數(shù)的校準(zhǔn)是必不可少的。然而，出現(xiàn)的問(wèn)題是，圖像傳感器的位置和/或取向會(huì)受到各種因素引起的變化，例如車輛的負(fù)載、磨損的影響、各種車輛零部件的更換以及崎嶇不平的道路和關(guān)門引起的振動(dòng)。這繼而引起圖像傳感器的外部參數(shù)的變化。

鑒于前述內(nèi)容，期望穩(wěn)健的在線外部參數(shù)校準(zhǔn)方法，其不需要具有已知幾何形狀的專用校準(zhǔn)結(jié)構(gòu)并且能夠在修車場(chǎng)所之外進(jìn)行。

發(fā)明內(nèi)容

本公開(kāi)的各方面提供了用于校準(zhǔn)圖像傳感器的一個(gè)或多個(gè)外部參數(shù)的方法、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。