[發(fā)明專利]用于識(shí)別場(chǎng)景中的相機(jī)的姿勢(shì)的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201780041110.4
• 申請(qǐng)日: 2017-06-29
• 公開(kāi)（公告）號(hào): CN109690623A
• 公開(kāi)（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: 約翰·諾布爾;蒂莫西·詹姆斯·亨利·愛(ài)德華
• 申請(qǐng)（專利權(quán)）人: 醒眸行有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/80;G06K9/62;G06K9/00
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋融冰

本文中描述的是確定車輛場(chǎng)景中的相機(jī)的姿勢(shì)的系統(tǒng)和方法。在一個(gè)實(shí)施例中，方法(400)包括從相機(jī)捕捉車輛場(chǎng)景的圖像的初始步驟(401)。在步驟(402)，加載指示車輛場(chǎng)景的參考數(shù)據(jù)，參考數(shù)據(jù)包括車輛場(chǎng)景中的已知特征的位置和方位。接下來(lái)，在步驟(403)，在圖像中識(shí)別已知特征中的一個(gè)或多個(gè)的幾何外觀。最后，在步驟(404)，從幾何外觀確定相機(jī)相對(duì)于在步驟c)中識(shí)別出的已知特征的三維位置和方位，以及計(jì)算車輛場(chǎng)景中的相機(jī)的姿勢(shì)。

技術(shù)領(lǐng)域

本發(fā)明涉及相機(jī)監(jiān)控系統(tǒng)，且特別涉及用于確定場(chǎng)景中的相機(jī)的姿勢(shì)的系統(tǒng)和方法。已特別地開(kāi)發(fā)本發(fā)明的實(shí)施例用于確定在車輛中所使用的駕駛員監(jiān)控系統(tǒng)中的一個(gè)或多個(gè)相機(jī)的相機(jī)姿勢(shì)。雖然將特別參考本申請(qǐng)而在本文中描述一些實(shí)施例，應(yīng)該領(lǐng)會(huì)的是，本發(fā)明并不限于如此使用領(lǐng)域，且可適于廣義語(yǔ)境中。

背景技術(shù)

貫穿說(shuō)明書(shū)的背景技術(shù)的任何論述決不應(yīng)被視為承認(rèn)這樣的技術(shù)被廣泛知曉或形成本領(lǐng)域中的公知常識(shí)的部分。

要求以關(guān)于系統(tǒng)的位置和方位的高度準(zhǔn)確度安裝車輛監(jiān)控系統(tǒng)中的相機(jī)以恰當(dāng)?shù)仄鹱饔谩Ｗ粉欆囕v中的人的位置，特別是他們的注視方向(原點(diǎn)與方位)，通常要求注視方向至車輛的配準(zhǔn)在小于1.5度的準(zhǔn)確度內(nèi)。例如，擋風(fēng)玻璃上的抬頭顯示器上的圖標(biāo)與駕駛員的注視之間的關(guān)系將需要大約此數(shù)量的注視相對(duì)于擋風(fēng)玻璃的準(zhǔn)確度。若相機(jī)被安裝在儀表盤中，且典型地，該相機(jī)的俯仰角中存在1.5度的誤差，則系統(tǒng)將無(wú)法檢測(cè)駕駛員是否正看著抬頭顯示器上的圖標(biāo)。最終需要在與車輛參考系相關(guān)聯(lián)的坐標(biāo)系中計(jì)算注視向量。然而，最初在相機(jī)參考系中計(jì)算注視向量，且隨后需要將注視向量變換至車輛坐標(biāo)系中。因此，在沒(méi)有準(zhǔn)確地知曉相機(jī)相對(duì)車輛的姿勢(shì)的情況下無(wú)法實(shí)現(xiàn)準(zhǔn)確的注視方向。特別地，相機(jī)俯仰角、偏航角以及滾轉(zhuǎn)角為對(duì)誤差最敏感的變量，因?yàn)檫@些變量中的小誤差將造成注視方向中的大誤差。

相機(jī)通常通過(guò)固定或可調(diào)整底座被安裝至表面或物體。發(fā)明人已經(jīng)認(rèn)識(shí)到，在監(jiān)控系統(tǒng)的操作期間，特別是在車輛中，在它們各自的底座中的一個(gè)或多個(gè)相機(jī)的方位總是偏離對(duì)齊且需要再校準(zhǔn)。此未對(duì)齊更可能發(fā)生在運(yùn)動(dòng)的系統(tǒng)(諸如車輛，且特別是常常被巖石或其他移動(dòng)物體撞擊的采礦車輛)中。另一示例是當(dāng)相機(jī)被安裝在駕駛桿或方向盤上時(shí)，駕駛桿可以為造成相機(jī)方位的大不確定性的移動(dòng)部分。車廂在壓力被施加至其(例如，停在路邊)時(shí)也稍微改變其形狀，導(dǎo)致需要相機(jī)相對(duì)于車輛的連續(xù)在線校準(zhǔn)的問(wèn)題。

再校準(zhǔn)過(guò)程花費(fèi)時(shí)間且導(dǎo)致系統(tǒng)停機(jī)時(shí)間，以及相機(jī)的位置/方位的準(zhǔn)確度受到重定向相機(jī)的技工的能力的限制。此外，在識(shí)別到未對(duì)齊之前，系統(tǒng)可能利用沒(méi)有對(duì)齊的相機(jī)操作，這體現(xiàn)為相機(jī)之間的非準(zhǔn)確投射以及各個(gè)相機(jī)視野之間的物體的非準(zhǔn)確追蹤。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的第一方面，提供一種用于確定車輛場(chǎng)景中的相機(jī)的姿勢(shì)的方法，該方法包括：

a)從相機(jī)捕捉車輛場(chǎng)景的圖像；

b)加載指示車輛場(chǎng)景的參考數(shù)據(jù)，該參考數(shù)據(jù)包括車輛場(chǎng)景中的已知特征的位置和方位；

c)在圖像中識(shí)別已知特征中的一個(gè)或多個(gè)的幾何外觀；

d)從幾何外觀確定相機(jī)相對(duì)于在步驟c)中識(shí)別出的已知特征的三維位置和方位，以及計(jì)算車輛場(chǎng)景中的相機(jī)的姿勢(shì)。

在一些實(shí)施例中，已知特征包括車廂。在其他實(shí)施例中，已知特征包括車廂中的可限定廂輪廓、邊緣或物體。在另外的實(shí)施例中，已知特征包括車輛儀表盤儀器。

在一些實(shí)施例中，參考數(shù)據(jù)包括車輛場(chǎng)景的三維模型。

在一些實(shí)施例中，步驟c)包括執(zhí)行圖像匹配技術(shù)以確定圖像中的已知特征的二維位置。