[發(fā)明專利]通過地平線估計(jì)進(jìn)行的攝像機(jī)自動校準(zhǔn)

無效

• 申請?zhí)枺?/td>: 201010138196.2
• 申請日: 2010-02-08
• 公開（公告）號: CN101800908A
• 公開（公告）日: 2010-08-11
• 發(fā)明（設(shè)計(jì)）人: W·張;S·M·奈克
• 申請（專利權(quán)）人: 通用汽車環(huán)球科技運(yùn)作公司
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06T7/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 彭武;譚祐祥

技術(shù)領(lǐng)域

本發(fā)明總體上涉及一種用于提供攝像機(jī)圖像中的地平線估計(jì)的系統(tǒng)和方 法，更具體地說，涉及一種用于提供攝像機(jī)圖像中的地平線估計(jì)，以便在俯仰 方向上對攝像機(jī)進(jìn)行校準(zhǔn)的系統(tǒng)和方法。

背景技術(shù)

現(xiàn)代車輛有時(shí)候包括一個(gè)或多個(gè)攝像機(jī)，這些攝像機(jī)提供支持協(xié)助，采集 車輛駕駛員的圖像以確定駕駛員的睡意和注意力，為了防止碰撞的目的而在車 輛行駛時(shí)提供路面的圖像，提供建筑物-例如路標(biāo)的識別等等。對于這些圖形 在攝像機(jī)圖像上疊加的應(yīng)用來說，準(zhǔn)確地校準(zhǔn)攝像機(jī)相對于車輛的位置和方位 是很關(guān)鍵的。由于制造公差，每輛車都必須執(zhí)行獨(dú)立的終檢線攝像機(jī)校準(zhǔn) (end-of-line?camera?calibration)或后續(xù)市場攝像機(jī)調(diào)節(jié)，以便進(jìn)行例如預(yù)定車輛 路線的準(zhǔn)確疊加。

某些已知的攝像機(jī)系統(tǒng)不提供攝像機(jī)校準(zhǔn)，但是可以恢復(fù)到一個(gè)默認(rèn)值， 該默認(rèn)值可能提供多度誤差。其他攝像機(jī)系統(tǒng)提供如下預(yù)校準(zhǔn)方法：在車輛坐 標(biāo)系中手動標(biāo)注攝像機(jī)圖像上的點(diǎn)并手動測量特征點(diǎn)位置，例如通過提供圖像 的檢測板圖案(checker?board?pattern)。然而，這些校準(zhǔn)技術(shù)通常耗時(shí)，且必須 在服務(wù)站實(shí)施。因此，如果車輛正在行駛并且撞到路面上的不平物或其他障礙 物，則攝像機(jī)位置可能改變，校準(zhǔn)可能不準(zhǔn)確，直到將車輛移到服務(wù)站進(jìn)行校 正。

攝像機(jī)校準(zhǔn)包括確定將攝像機(jī)圖像坐標(biāo)與地球坐標(biāo)相關(guān)聯(lián)以及將地球坐標(biāo) 與攝像機(jī)圖像坐標(biāo)相關(guān)聯(lián)的一組參數(shù)。一些攝像機(jī)參數(shù)-例如攝像機(jī)焦距、光 心等都是固定的，然而其他參數(shù)-例如攝像機(jī)方位和位置卻不是固定的。例如， 攝像機(jī)的高度取決于車輛的負(fù)載，其隨時(shí)會變化。這種變化引起攝像機(jī)圖像上 的車輛軌跡的不準(zhǔn)確的疊加圖形。因此，需要一種攝像機(jī)校準(zhǔn)程序，其在車輛 被驅(qū)動時(shí)自動地校準(zhǔn)不太穩(wěn)定的攝像機(jī)參數(shù)，該車載攝像機(jī)系統(tǒng)持續(xù)地隨時(shí)進(jìn) 行自我適應(yīng)。

攝像機(jī)圖像中的地平線估計(jì)提供一種技術(shù)，通過該技術(shù)可以校準(zhǔn)攝像機(jī)圖 像，特別是在俯仰方向上。然而，依賴于地平線估計(jì)的公知的攝像機(jī)校準(zhǔn)技術(shù) 通常是不準(zhǔn)確且不可靠的。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的教導(dǎo)，公開一種用于估計(jì)攝像機(jī)圖像中的地平線以提供俯仰 方向上的攝像機(jī)自動校準(zhǔn)的系統(tǒng)和方法。該方法包括攝取一個(gè)場景的圖像并采 用地平線邊緣檢測分析來產(chǎn)生該圖像的紋理地圖，以定位該場景中的地平線邊 緣。該方法還包括通過提供連續(xù)圖像之間的圖像差別來提供運(yùn)動地圖，以便在 車輛移動時(shí)找出圖像中沒有運(yùn)動的區(qū)域。將紋理地圖和運(yùn)動地圖相組合來識別 圖像中不運(yùn)動且包含地平線邊緣的候選區(qū)域(candidate?areas)。通過計(jì)數(shù)地圖中 候選區(qū)域中的地平線方向上的白點(diǎn)，從組合地圖中產(chǎn)生地平線投影。使該地平 線投影平滑化以消除干擾，并且通過識別地平線投影中的最大峰值來估計(jì)圖像 中的地平線位置。然后，估計(jì)出的地平線就可以被用于自動校準(zhǔn)程序，以校準(zhǔn) 攝像機(jī)。

方案1、一種用于估計(jì)攝像機(jī)圖像上的地平線的方法，所述方法包括：

提供源于攝像機(jī)的第一和第二圖像；

提供源于所述圖像中的一個(gè)的紋理地圖，該紋理地圖對所述圖像中的邊緣 進(jìn)行定位；

提供源于所述第一和第二圖像之間的差別的運(yùn)動地圖，該運(yùn)動地圖對所述 圖像中沒有發(fā)生運(yùn)動的區(qū)域進(jìn)行定位；

將所述紋理地圖和所述運(yùn)動地圖進(jìn)行組合以識別組合地圖中不運(yùn)動且包括 地平線邊緣的位置；

提供包括所述組合地圖中沿地平線方向的一定數(shù)量的位置的地平線投影， 這些位置識別出所述組合地圖中的地平線邊緣的數(shù)量；

對所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾；以及

識別平滑處理過的地平線投影中的最大峰值，該最大峰值識別出所述圖像 中的估計(jì)地平線。

方案2、根據(jù)方案1所述的方法，其中，提供紋理地圖包括采用地平線邊緣 檢測分析來定位地平線邊緣。

方案3、根據(jù)方案2所述的方法，其中，提供地平線邊緣檢測分析包括采用 Sobel濾波。

方案4、根據(jù)方案1所述的方法，其中，所述紋理地圖中的邊緣、所述組合 地圖中的位置以及所述地平線投影中的位置都是白點(diǎn)。

方案5、根據(jù)方案1所述的方法，其中，對所述地平線投影進(jìn)行平滑處理包 括采用Gaussian平滑濾波器。

方案6、根據(jù)方案1所述的方法，其中，所述地平線投影是地平線直方圖。