[發(fā)明專利]魚眼相機(jī)的標(biāo)定方法及裝置

有效

• 申請?zhí)枺?/td>: 201611078045.6
• 申請日: 2016-11-30
• 公開（公告）號: CN106846409B
• 公開（公告）日: 2020-05-01
• 發(fā)明（設(shè)計）人: 林春雨;韋世奎;馬珂;高奕;林鴻運(yùn);王欣;黃奇;鐘洪波
• 申請（專利權(quán)）人: 北京鑫洋泉電子科技有限公司;北京交通大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本發(fā)明涉及魚眼相機(jī)的標(biāo)定方法及裝置。該方法包括：檢測畸變圖中的第一組特征點；對畸變圖進(jìn)行投影處理，得到投影圖；檢測投影圖中的第二組特征點；確定第一組特征點和第二組特征點在畸變圖的圖像坐標(biāo)系中的坐標(biāo)；確定第一組特征點和第二組特征點與預(yù)先設(shè)置的目標(biāo)點的對應(yīng)關(guān)系；根據(jù)對應(yīng)關(guān)系以及目標(biāo)點在世界坐標(biāo)系中的坐標(biāo)，確定第一組特征點和第二組特征點在世界坐標(biāo)系中對應(yīng)的坐標(biāo)；對魚眼相機(jī)進(jìn)行標(biāo)定，并得到畸變圖對應(yīng)的校正圖。根據(jù)本發(fā)明的魚眼相機(jī)的標(biāo)定方法及裝置能夠利用單幅圖像完成相機(jī)內(nèi)外參數(shù)的標(biāo)定，能夠提高標(biāo)定的精確度，簡化標(biāo)定過程，并能夠提高標(biāo)定的實時性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種魚眼相機(jī)的標(biāo)定方法及裝置。

背景技術(shù)

隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，復(fù)雜場景的實時繪制已經(jīng)成為可能，其生成的全景圖像被應(yīng)用于醫(yī)學(xué)成像、軍事遙感、虛擬現(xiàn)實世界和車載安全等眾多領(lǐng)域。全景圖像拼接技術(shù)首先采集各個方向的圖像，然后利用相鄰兩個方向圖像重疊部分的像素相似性，將多幅圖像拼接成一幅大的圖像。為了使其最大程度地接近現(xiàn)實場景，通常采用特殊的魚眼鏡頭采集圖像。

魚眼鏡頭是一種超廣角鏡頭，因其前鏡片呈拋物狀向鏡頭前部凸出，與魚眼睛頗為相似而得名。魚眼鏡頭的視角可接近或等于180°(部分特殊魚眼鏡頭的視野寬度甚至可達(dá)220°至230°)，并且其價格經(jīng)濟(jì)實惠，已在諸多領(lǐng)域得到了廣泛的應(yīng)用，例如：計算機(jī)視覺、虛擬現(xiàn)實、行車安全以及視覺監(jiān)控等。

雖然魚眼鏡頭可以獲得很大的視角，但是根據(jù)物理成像的規(guī)律，焦距越短，視角越大，為了獲得較廣的視野，魚眼鏡頭的焦距為16mm或者更短。因此，魚眼相機(jī)采集的圖像通常都引入了桶形畸變，所成圖像除了畫面中心點的景物保持不變外，其他本應(yīng)該水平或者豎直的景物都發(fā)生了相應(yīng)的變化。圖1示出魚眼相機(jī)所采集的圖像發(fā)生桶形畸變的示意圖。如圖1所示，由于魚眼相機(jī)所采集的圖像發(fā)生桶形畸變，因此圖像的內(nèi)容不能很好地被使用者所理解。為了符合人眼的觀察習(xí)慣，在進(jìn)行圖像拼接之前，需要對魚眼鏡頭的相關(guān)參數(shù)進(jìn)行精確地校正，這個校正的過程在計算機(jī)視覺中稱為標(biāo)定。

與常規(guī)的小孔成像原理不同，魚眼鏡頭的成像基于非相似原理。圖2示出魚眼相機(jī)投影模型的示意圖。如圖2所示，將魚眼鏡頭近似看成是一個半球模型，世界坐標(biāo)系中的點M＝(X_W,Y_W,Z_W)發(fā)出的光線首先通過魚眼相機(jī)光心O，映射到相機(jī)坐標(biāo)系上的點P＝(X_C,Y_C,Z_C)，投影關(guān)系如式1所示：

其中，R是世界坐標(biāo)系和相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣，t是一個三維的平移向量。從M出發(fā)的光線投影到成像平面，由于光路彎曲，因此投影成點m，而一般透視投影的投影點為m′。該投影關(guān)系如式2所示：

其中，

λ為非零度因子，K為內(nèi)參數(shù)矩陣，f_x和f_y分別是圖像水平軸和垂直軸的尺度因子，c_x和c_y是圖像坐標(biāo)系原點在像素坐標(biāo)系中的坐標(biāo)。

該投影過程是非線性的，根據(jù)投影函數(shù)g的不同，可以提出不同的魚眼相機(jī)模型。

隨著魚眼相機(jī)在車載360全景、視頻監(jiān)控和機(jī)器人視覺等方面的廣泛應(yīng)用，魚眼相機(jī)的標(biāo)定成為一個重要的課題。近年來，相關(guān)技術(shù)中提出了多種魚眼相機(jī)標(biāo)定的方法。例如，一種較普遍的方法為基于球面模型的魚眼圖像校正法，在這種方法中，只要球面模型被確定，就決定了其畸變校正的效果，這就可能存在校正強(qiáng)度不夠或者過校正的問題，且不具有效果的調(diào)節(jié)能力。在另一種方法中，需要從不同視角采集多幅標(biāo)定的圖像，這種方法的實時性不高，不能很好地應(yīng)用于行車安全和視覺監(jiān)控等方面。

發(fā)明內(nèi)容