[發(fā)明專利]基于單個魚眼鏡頭的全景視頻漫游方法及裝置

有效

• 申請?zhí)枺?/td>: 201110230311.3
• 申請日: 2011-08-11
• 公開（公告）號: CN102291527A
• 公開（公告）日: 2011-12-21
• 發(fā)明（設計）人: 施行;王鵬;賈永華
• 申請（專利權(quán)）人: 杭州?？低曑浖邢薰?/a>
• 主分類號: H04N5/225
• 分類號: H04N5/225;G02B13/00
• 代理公司: 上海一平知識產(chǎn)權(quán)代理有限公司 31266
• 代理人: 成春榮;竺云

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及基于魚眼鏡頭的全景視頻漫游技術(shù)。

背景技術(shù)

魚眼鏡頭是一種視角接近或等于180度和焦距極短的超廣角鏡頭中一種特殊鏡頭，為使鏡頭達到最大的攝影視角，其視角力求達到或超出人眼所能看到的范圍。由于焦距越短，視角越大；而視角越大，則因光學原理產(chǎn)生的畸變也就越強烈。為了達到180度的超大視角，魚眼鏡頭的設計者不得不允許這種變形(或稱為畸變)的合理存在。其結(jié)果是除了畫面中心的景物保持不變，其他本應水平或垂直的景物都發(fā)生了相應的變化。也正是這種強烈的視覺效果為全景漫游提供了技術(shù)基礎(chǔ)源材料。

360度三維全景虛擬漫游以三維全景為主體，添加圖片、視頻、音頻、文字等多種媒體要素，使用虛擬技術(shù)模擬產(chǎn)生一個三度空間的虛擬世界，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，讓使用者如同身歷其境一般，可以及時、沒有限制地觀察三度空間內(nèi)的事物。使用者進行位置移動時，電腦通過相應的復雜運算，將精確的3D世界影像傳回產(chǎn)生臨場感，從而對各種場景包括樓盤、城市、景點進行整體全面的展示，不僅可以獲得整體的全面認識，亦可深入其中一個場景或其細節(jié)進行瀏覽觀看。該技術(shù)集成了計算機圖形技術(shù)、計算機仿真技術(shù)、人工智能、傳感技術(shù)、顯示技術(shù)、網(wǎng)絡并行處理等技術(shù)的最新發(fā)展成果，是一種由計算機技術(shù)輔助生成的高技術(shù)模擬系統(tǒng)。

對被拍攝個體360度地全景漫游展示的拍攝架構(gòu)也在不斷改進，目前全景云臺是專門為拍攝360度全景而使用的承載相機等拍攝設備的一個裝置。其關(guān)鍵作用就在于將鏡頭成像中心固定在云臺的旋轉(zhuǎn)軸心上，這樣就可以保證在旋轉(zhuǎn)相機拍攝的時候每張圖像都是在一個點上拍攝，拼合的全景圖完美。

目前，360度全景制作技術(shù)往往需要以硬件成本或者效率低下為代價，在靜態(tài)圖像處理上，才能取得較好的全景顯示效果。例如多魚眼鏡頭多張圖像拼合中，兩魚眼拼合就是在360度范圍內(nèi)，每隔180度拍攝一張，共兩張魚眼圖片進行拼合。三魚眼拼合就是在360°范圍內(nèi)，每隔120度拍攝一張，共三張魚眼圖片進行拼合。四魚眼拼合可將魚眼鏡頭和高像素的單反相機配合使用時，得到鼓形魚眼，用四魚眼進行拼合，鼓形魚眼的垂直視角達到180度，水平視角達到110度以上，這樣充分利用了成像面，有利于全景圖質(zhì)量的提高。

而如果僅采用一臺相機繞圓周拍攝360度全景圖像，則獲取的視頻圖像并非同一時刻，一旦有運動物體出現(xiàn)在場景中，拼接后全景圖就易產(chǎn)生鬼影(或稱為重影)等瑕疵。視頻圖像拼接算法的復雜性導致目前無法達到實時處理的要求，只能進行視頻圖像的拼接，而無法用于視頻處理。這樣的漫游方式是基于靜態(tài)圖片的，只能讓使用者看到某一瞬間的景象，缺乏動態(tài)真實感。

同樣，在涉及多攝像機同步獲取360度高清全景的系統(tǒng)方案中，采用了多個高清攝像機以圓周排列的方式固定在裝置上同步采集視頻，并采用后期合成的方式輸出全景畫面，其缺點在于需要要獲取360度全景需配備多個高清攝像機，使得整套系統(tǒng)的成本相當高昂、全景畫面采用后期合成的方式的實時性不穩(wěn)定以及當多攝像機同時工作時的彼此之間時間同步問題不易解決。

當進行多攝像機同步獲取360度高清全景的方案中，其設備成本高昂、視頻圖像拼接算法的復雜性使得處理系統(tǒng)達不到實時處理的標準無法用于視頻處理。

基于上述原因，本發(fā)明在視頻處理中，利用光學原理，提出了一種基于單個魚眼鏡頭的全景視頻漫游方法及其裝置，使得視頻全景漫游處理的實時性強、容易實現(xiàn)以及軟硬件成本的性價比高，從而在全景漫游時，可以像使用者提供更加具體生動的細節(jié)信息。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于單個魚眼鏡頭的全景視頻漫游方法及裝置，可以以較低的成本實時地對魚眼鏡頭所獲視頻進行全景漫游。

為解決上述技術(shù)問題，本發(fā)明的實施方式提供了一種基于單個魚眼鏡頭的全景視頻漫游方法，包括以下步驟：

從魚眼鏡頭所獲視頻的原始圖像中提取包絡圓參數(shù)；

根據(jù)包絡圓參數(shù)和漫游窗口在包絡圓中的相對位置，計算校正圖像像素索引表；

根據(jù)校正圖像像素索引表，對從魚眼鏡頭所獲視頻中的連續(xù)多幀原始圖像分別進行插值計算，得到校正圖像，并在顯示設備中顯示校正圖像。

本發(fā)明的實施方式還提供了一種基于單個魚眼鏡頭的全景視頻漫游裝置，包括以下模塊：

提取模塊，用于提取魚眼鏡頭獲取的原始視頻圖像的包絡圓參數(shù)；

校正模塊，用于根據(jù)包絡圓參數(shù)和漫游窗口在包絡圓中的相對位置，計算校正圖像像素索引表；