[發明專利]一種多魚眼鏡頭全景相機的矯正和標定方法

在審

• 申請號: 201810031316.5
• 申請日: 2018-01-12
• 公開（公告）號: CN108364252A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 夏桂松;李星華;沈煥鋒;丁紅兵;丁非
• 申請（專利權）人: 深圳市一粒視界科技有限公司;夏桂松
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/80
• 代理公司: 深圳市智圈知識產權代理事務所(普通合伙) 44351
• 代理人: 韓紹君

本發明提供了一種多魚眼鏡頭全景相機的矯正和標定方法，包括以下步驟：在步驟S1中，建立多魚眼鏡頭全景相機的用于矯正和標定的標定場；在步驟S2中，獲取多魚眼鏡頭中每個魚眼鏡頭的圖像；在步驟S3中，對獲取的每個魚眼鏡頭的圖像進行球面投影矯正；在步驟S4中，對球面投影矯正后的圖像進行標定；在步驟S5中，對矯正后的圖像的內部參數和外部參數進行優化；在步驟S6中，得到所需的不同魚眼鏡頭之間的姿態變換。

技術領域

本發明涉及計算機圖像處理領域，具體涉及光學圖像的計算機處理。更具體而言，本發明涉及利用多魚眼鏡頭全景相機進行全景圖像拼接的矯正和標定方法。

背景技術

現有的普通相機的視場角小，通常小于100度，而且觀測范圍有限，限制了其對周圍360環境同時進行觀測的應用。而魚眼鏡頭視場角可以達到180度及以上，可以利用兩個及其以上的魚眼鏡頭進行同步拍攝達到全景的效果。

目前，現有的圖像畸變矯正技術通常利用平面透視投影約束，由三維空間中的直線映射到二維平面中，其適用于視場角小，畸變量小的圖像。但是，魚眼鏡頭所拍攝的圖像卻不滿足該約束規則，因為它將所觀測的物體投影到球面上。所以，如何得到魚眼鏡頭的球面投影映射關系，并建立魚眼鏡頭的非常規成像模型，就顯得尤為重要。

目前，全景相機通常由2個180度的魚眼鏡頭構成，由于這種相機視野重疊區不足，會導致在看兩個鏡頭的拼接處出現明顯的錯位或扭曲。利用更多個(多于2個)的魚眼鏡頭，可以在一定程度上解決錯位或扭曲問題，但是，也會存在如何對多個鏡頭進行精確的相對姿態的估計的問題。

因此，隨著技術和應用場合的發展和變化，本領域中急需針對多魚眼鏡頭全景相機的矯正和標定提供改進的方法，以克服現有技術中的以上技術缺陷，以及其它技術問題。

本發明的說明書的此背景技術部分中所包括的信息，包括本文中所引用的任何參考文獻及其任何描述或討論，僅出于技術參考的目的而被包括在內，并且不被認為是將限制本發明范圍的主題。

發明內容

鑒于以上所述以及其它更多的構思而提出了本發明。本發明旨在解決以上的技術缺陷和其它的技術問題。

本發明構建了一套完整的對多魚眼鏡頭組合的全景相機進行圖像矯正及空間位置估計的系統與方法。

更精確地說，本發明提供了在存在光學靶標的自然環境下矯正全景相機的多個魚眼鏡頭的圖像畸變，并估算不同魚眼鏡頭之間的空間相對位置關系的一套完整系統與方法。

根據本發明的一方面，本發明提出，例如，在人工布置的室內標定場內，獲取多路如四路同步拍攝的圖像，并利用本發明的魚眼鏡頭投影模型對鏡頭的畸變參數進行計算，進行矯正。之后，利用已經矯正過的四組圖像在特殊布置的標定場內進行精確的內外部參數進行估算(其中例如包括鏡頭的焦距和主焦點以及鏡頭之間的旋轉變換與平移變換)，從一組2D點的映射中估計物體的3D姿態。

在圖像矯正環節，由于魚眼鏡頭的前鏡片直徑很短且呈拋物狀向鏡頭前部凸出而造成它拍攝的圖像最終映射到一個單位球體中，所以，魚眼鏡頭在感光元件上的成像與普通得針孔成像有著巨大區別。所以在該圖像矯正環節，本發明設計以一種多項式擬合的方法，經過自動角點提取，多項式擬合，最小投影誤差優化等步驟之后，就可以將已經被投影在球體上變成圓弧的空間直線強行矯正為其原始狀態，而使其矯正為符合小孔成像原理的圖像。

在圖像標定環節，根據本發明圖1-2所示的一種四個魚眼鏡頭，由于其原件制造精度，鏡頭安裝精度等存在誤差，任意兩個相鄰魚眼鏡頭之間的夾角并不是理想的120度。因此，如何精確估計出鏡頭間的姿態(外部參數的一種)變換，是后期避免在拼接縫處出現明顯錯位的關鍵。本發明在人工布置特定的標定場內，利用對極約束條件，僅利用極少的匹配點便可以得到精確的姿態估算。