[發(fā)明專利]基于逆向多項式模型的魚眼圖像畸變校正方法

在審

• 申請?zhí)枺?/td>: 201310203257.2
• 申請日: 2013-05-28
• 公開（公告）號: CN104182961A
• 公開（公告）日: 2014-12-03
• 發(fā)明（設計）人: 張云洲;楊文綸;高亮;張翰鐸;王少楠;張益凱
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 無
• 代理人: 無

技術領域

本發(fā)明涉及圖像處理和機器視覺領域，具體涉及一種基于逆向多項式模型的魚眼圖像畸變校正方法。

背景技術

由于具有大視場、短焦距等優(yōu)點，魚眼鏡頭可用于擴展普通針孔相機的視野范圍。在機器人導航、視頻會議、監(jiān)視和虛擬現(xiàn)實等諸多計算機視覺領域，都需要使用具有較大視場的廣角或魚眼攝像機。絕大多數(shù)計算機視覺領域普遍認為攝像頭遵循線性針孔模型。然而，魚眼鏡頭光學系統(tǒng)引入強烈的光學畸變，導致針孔模型的假設實際上不再成立。為了充分利用這些具有嚴重畸變的圖像透視投影信息，需要將畸變后的圖像校正為理想的線性透視投影圖像。徑向畸變是魚眼鏡頭引入的最顯著的畸變類型，在魚眼鏡頭光學中體現(xiàn)出畸變圖像的中間區(qū)域呈現(xiàn)出高分辨率，而在圖像的邊緣部分呈現(xiàn)圖像分辨率的非線性下降。畸變校正的關鍵問題在于如何對魚眼圖像徑向畸變進行校正。

目前對于魚眼攝像機圖像的畸變校正問題的研究主要基于傳統(tǒng)的攝像機標定理論。魚眼鏡頭標定算法是在建立魚眼鏡頭畸變模型的基礎上，考慮魚眼鏡頭成像的主要畸變類型，尤其是徑向畸變，據(jù)此建立精確的魚眼攝像機模型并計算出相應的內參矩陣中的每個分量。攝像機標定方法主要包括照相機視覺標定、自標定以及張正友標定，都需要特制的標定模塊和模板。常用的是精度高、魯棒性強且更加靈活的張正友標定。張正友標定要求攝像機在至少兩個方位上拍攝一個平面標定板，攝像機和二維平面標定板都可以自由移動，且內部參數(shù)始終保持不變。由于二維平面標定板在世界坐標系中Z=0，因此通過線性模型分析即可求解出攝像機內部參數(shù)和外部參數(shù)的優(yōu)化解，然后通過最大似然估計和Levenberg-Marquardt進行非線性求精。最后采用算法簡潔且實時性強的正向多項式校正模型來擬合徑向畸變函數(shù)，實現(xiàn)魚眼攝像機圖像的畸變校正。

綜上所述，魚眼攝像機校正模型大多數(shù)采用了正向去畸變校正思路，將校正前的圖像像素坐標通過校正模型轉換為校正后的圖像坐標。由于這種映射關系不是一一對應的，所以校正后的圖像必然會導致圖像的某些像素缺失，也就是空洞現(xiàn)象。傳統(tǒng)的魚眼畸變校正必然伴隨著后續(xù)圖像插值處理，其中包括最近鄰域插值、雙線性插值、雙三次插值方法等等。綜合來看，由于引入了插值操作，會導致算法的實時性降低，進而影響最終的校正效果。

發(fā)明內容

針對正向多項式校正算法的不足，本發(fā)明提供了基于逆向多項式模型的魚眼圖像畸變校正方法，將正向校正模型通過線性Taylor級數(shù)擬合得到了逆向多項式校正模型，通過逆向校正模型將校正后的圖像坐標轉換為校正前的圖像坐標。實驗表明這種算法有效避免了校正后圖像像素缺失的現(xiàn)象，從而避免了后續(xù)的插值處理，減少了運算量的同時有效地提高了整個校正過程的實時性。逆項多項式校正模型在數(shù)學運算上只涉及到加法和乘法，十分有利于硬件實現(xiàn)。對于嵌入式系統(tǒng)以及場地應用場合，逆向多項式校正算法具有明顯的優(yōu)勢。

本發(fā)明涉及基于逆向多項式模型的魚眼圖像畸變校正方法。具體地：基于確定的正向多項式校正模型和具體的正向畸變校正參數(shù)，計算出逆向校正模型的表達式和相應的畸變校正系數(shù)，最后通過最大似然估計進行非線性求精。若校正精度下降的情況，則重新進行最大似然求精，直到校正精度滿足要求。

本發(fā)明的技術方案是這樣實現(xiàn)的：首先采用張正友標定算法計算出魚眼攝像頭的內部參數(shù)和外部參數(shù)，建立魚眼攝像頭的畸變模型，在只考慮徑向畸變的情況下對魚眼攝像頭建立正向多項式畸變校正模型。由于正向多項式畸變校正模型表達式無法直接求逆，因此采用Taylor級數(shù)擬合的方法建立逆向多項式校正模型。

基于逆向多項式模型的魚眼圖像畸變校正方法，包括如下步驟：

步驟一：對魚眼攝像機進行張正友標定，獲得攝像機的內參矩陣和外參矩陣中的每個分量；

步驟二：先建立正向多項式畸變校正的r_u和r_d模型，在只考慮徑向畸變條件下計算正向多項式模型中的校正系數(shù)。由于r_d和r_u建立的校正模型無法直接實現(xiàn)圖像校正，需要將它轉換為校正前后圖像坐標之間的關系或者是物理坐標的關系模型。為了實現(xiàn)坐標轉換，可以做如下假設：（1）光軸嚴格垂直于成像平面，主點沒有偏離圖像中心。這樣我們可以忽略離心畸變；（2）忽略切向畸變，僅考慮徑向畸變。根據(jù)幾何關系，容易得到校正前后以物理單位表示的坐標系下的坐標關系，然后整理得到校正前后以像素為單位的圖像坐標系下的圖像坐標關系。