[發明專利]垂直方向寬視域的360度拼接式全景攝像機

有效

• 申請號: 201310459441.3
• 申請日: 2013-10-01
• 公開（公告）號: CN103533266B
• 公開（公告）日: 2016-11-30
• 發明（設計）人: 張茂軍;熊志輝;徐瑋;李靖;譚樹人;王煒;劉煜;張政;尹曉晴;彭楊
• 申請（專利權）人: 中國人民解放軍國防科學技術大學;湖南源信光電科技有限公司
• 主分類號: H04N5/374
• 分類號: H04N5/374;G06T5/50;G06T3/40
• 代理公司: 國防科技大學專利服務中心 43202
• 代理人: 曹德斌

技術領域：

本發明屬于全景圖像拼接領域，尤其涉及一種垂直方向寬視域的360度拼接式全景攝像機。

背景技術：

采用全景拼接方式構建的拼接式全景攝像機，可以克服單圖像傳感器相機硬件條件的限制，對場景同時實現大視場和高分辨率的拍攝。與魚眼全景和折反射全景相比，拼接全景具有圖像失真小，分辨率高和各位置分辨率均勻的優勢。

拼接式全景攝像機無論在民用還是軍用領域都有廣闊的應用前景。

在民用領域，因其大視場和高分辨率的特性，拼接全景受到越來越多的關注和青睞。拼接式全景攝像機已廣泛應用于安防監控、藝術攝影、虛擬現實以及街景拍攝的工程實際中，并在日益增長的需求驅動下獲得快速發展。

在軍用領域，機載的全景攝像機可以實現對地面目標的大范圍、高精度偵查。美國國防部先進研究項目局（DARPA）主導的先進寬視場架構圖像重構與開發（AWARE）工程利用300個1400萬像素微型相機拼接的方式成功構建了具有120度視角20億像素分辨率的圖像采集系統。基于全景拼接技術的360度全景攝像機可以代替傳統的潛艇光學潛望鏡，美軍Type-18型潛艇已正式裝備360度全景潛望成像系統，大大提高了潛艇的態勢感知能力，為潛艇提供潛在的戰術優勢。類似的系統也可以應用于坦克的火控系統，代替傳統的周視瞄準鏡，不僅可以簡化機械結構，而且能夠獲得更好的觀察效果。

然而目前拼接式全景攝像機的拼接方法大多基于橫向排列的圖像傳感器陣列，單排拼接的全景圖像雖然可以具有360度的水平視角，但其垂直視角卻很小。對于如圖1所示具有50度水平視角的設置為標準1080P模式的相機CMOS，其垂直視角只有28.125度。為了獲得更大的垂直視角，目前的方法是使用多排圖像傳感器陣列。而多排圖像的無縫拼接需要同時考慮橫向和縱向兩個方向，基于圖像在存儲器中實質上的一維存儲方式，雙向的拼接算法需要較多的隨機讀取，勢必會增加算法的時間復雜性。

在安防監控、街景拍攝以及軍事上的坦克火控瞄準等應用場合，關注重點為水平方向的大范圍場景，且需要較大的垂直視角，橫向單排拼接的全景攝像機難以滿足需求。本發明采用將普通圖像傳感器豎置的方式進行全景拼接，為了獲得同樣寬度的水平視角，單排豎置的排列方式需要更多的圖像傳感器數量，但其在垂直視角上相對于橫向排列方式具有明顯優勢。以需要360度水平視角、50度垂直視角的應用場合為例，使用圖1所示CMOS，若采用圖像傳感器橫向排列的方案，則需要兩排CMOS才能滿足需求，如圖2所示。若采用圖像傳感器縱向排列的方案，則僅需單排CMOS即能滿足需求，如圖3所示。由此可見，在特定應用場合下，本發明提出的垂直方向寬視域的360°拼接式全景攝像機不僅在裝置結構上更為簡單，而且能夠降低對應的拼接算法的復雜度，進而降低處理器成本。

發明內容：

本發明從實際應用需求出發，考慮到傳統橫向排列的全景拼接方法在構建較大垂直視角全景圖像時的復雜性，即需要進行多排圖像的拼接，提出了一種基于圖像傳感器豎置排列的全景拼接方案，并以此構建垂直方向寬視域的360°拼接式全景攝像。該攝像機應用的場合是360度全景圖像的采集，由于可在單排圖像傳感器排列的情況下獲得較大的垂直視角，僅需要在橫向上運行圖像拼接算法，能夠簡化拼接算法的設計，降低算法時間復雜度。

為實現上述目的，本發明提供了如下技術方案：

一種垂直方向寬視域的360度拼接式全景攝像機，包括若干個相同的豎直排列的圖像傳感器，每個所述圖像傳感器有效圖幅的長邊對應的視角不小于全景圖像需要的垂直視角，相鄰圖像傳感器形成的圖像之間重疊部分的寬度滿足圖像拼接的要求，并且所述圖像傳感器的數量滿足使所有圖像傳感器有效圖幅的短邊對應的視角疊加后不小于360度。

進一步地，任意兩個所述圖像傳感器的鏡頭光心之間的距離小于最小景深的1/10；并且每個所述圖像傳感器采用相同的曝光參數。

本發明還提供了一種用于上述的360度拼接式全景攝像機的標定方法，采用基于特征點的標定方法，包括以下步驟：

S101.所述360度拼接式全景攝像機采集一組圖像數據；

S102.對所述圖像數據中的各個圖像傳感器形成的圖像進行特征點查找與匹配；

S103.根據步驟S102得到的特征點匹配關系解算各個圖像傳感器形成的圖像之間的投影關系；

S104.將所有由各個圖像傳感器形成的圖像投影到同一觀察平面內，對于由各個圖像傳感器形成的圖像在所述觀察平面內的投影圖像，其任意位置的像素值采用查找表的方式，通過雙線性插值從對應圖像傳感器形成的圖像的相應位置獲取。