[發明專利]電子穩像方法及終端

在審

• 申請號: 201811515340.2
• 申請日: 2018-12-12
• 公開（公告）號: CN109462717A
• 公開（公告）日: 2019-03-12
• 發明（設計）人: 李斌
• 申請（專利權）人: 深圳市至高通信技術發展有限公司
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N5/14
• 代理公司: 深圳市博銳專利事務所 44275
• 代理人: 張明;任芹玉

本發明公開了一種電子穩像方法及終端，方法包括：分別獲取攝像裝置的視頻信息以及拍攝所述視頻信息時攝像裝置的運動角速率；根據所述運動角速率獲取攝像裝置的姿態信息；將所述姿態信息與初始姿態進行比對，得到比對結果；根據所述比對結果對所述視頻信息進行旋轉校正；根據卡爾曼濾波對旋轉校正后的視頻信息進行濾波處理，得到主動運動矢量；對所述主動運動矢量進行曲線擬合，得到擬合運動矢量；根據所述主動運動矢量和擬合運動矢量計算得到運動補償量；根據所述運動補償量對所述視頻信息進行補償；輸出補償后的視頻信息。適用于對VR全景視頻進行電子穩像處理，有利于VR全景攝像機在運動過程中穩定輸出視頻。

技術領域

本發明涉及攝像技術領域，尤其涉及一種電子穩像方法及終端。

背景技術

隨著VR技術的不斷成熟和發展，VR技術已經開始在醫療、娛樂和教育等社會領域發揮了重要的作用，VR技術的發展將對社會的發展進步起到巨大的推動作用。

全景攝像機最早應用于勇氣號火星探測器，作為人類遣往其他行星上的第一個地面移動機器人，上面裝有一對可拍攝火星表面彩色照片的全景攝像機以及各種傳感器設備。2007年瑞典厄勒布魯大學AASS移動機器人實驗室研制出一種球形安全機器人GroundBot。該機器人在球形主體的兩側安置了可變焦攝像機拍攝周圍環境，生成360度虛擬全景空間。利用獲取的全景圖像增強機器人對環境的觀測感知能力和遠程監控能力，并采用機器人的SLAM(Simultaneous Localization and Mapping，同步定位與建圖)技術進行機器人自主定位和導航。同年，卡內基梅隆大學與美國宇航局在合作的GlobalConnection項目中，研發出一款全景攝像機器人Gigapan。該全景攝像機器人采用具有重疊的單張圖像拍攝方法，生成高達10億像素的全景圖像。

目前全景攝像機根據硬件組成的不同，可以分為多鏡頭式全景攝像機和單鏡頭式全景攝像機。單鏡頭式全景攝像機一般采用單個魚眼鏡頭，魚眼鏡頭是一種超短焦距、超廣角的鏡頭，其拍攝視野能夠達到甚至超過180°。基于光的折射原理，魚眼鏡頭的設計與制造一般遵循某個特定的投影模型，如等距投影模型，其投影模型及參數決定了魚眼鏡頭的視野、分辨率分布情況。魚眼圖像有嚴重的畸變，如場景中的直線在魚眼圖像中可能成了曲線，因此魚眼圖像不適合人眼觀察，需要把魚眼圖像校正成“看起來”正常的圖像，去除或減少畸變，這一過程一般被稱作魚眼鏡頭畸變校正。多鏡頭式全景攝像機首先通過有規律地排列多個普通鏡頭來覆蓋整個拍攝視野，然后通過圖像配準、圖像拼接及圖像融合等技術來生成完整、無縫的全景圖像。

全景攝像機的成功研制己經有將近十年的時間，但卻一直沒有得到廣泛的應用，主要是由于技術和成本的限制。多鏡頭式需要使用多個攝像機，成本較高且圖像拼接融合技術較為復雜；單魚眼式相對普通鏡頭來講同樣價格偏高，且畸變圖像后的分辨率及效果不盡如人意。隨著計算攝影領域的深入研究和圖像處理技術的逐步發展，人們對全景攝像水平的要求也越來越高，將電子穩像技術融入到全景攝像機的自動處理功能中，從而得到穩定、高清的視頻圖像。

電子穩像技術主要包括運動矢量估計和提取、運動矢量濾波和運動矢量補償等三部分。運動矢量估計和提取的主要方法有硬件方法和軟件方法，硬件方法主要是采用各種精確的傳感器如激光陀螺儀、電子陀螺儀和高精度棱鏡等測量像機出現的位移及角速度，軟件方法進行運動矢量的提取主要有匹配法、光流法和特征法等進行幀間運動矢量的估計與提取。運動矢量濾波主要是為了去除隨機抖動保留攝像機自身運動或拍攝范圍內目標存在的運動，常用的濾波方法主要有均值濾波法、最小二乘曲線擬合法、卡爾曼濾波法等，進行主動運動和隨機抖動分量的分離。運動矢量補償是根據求出的全局運動估計矢量去除隨機抖動獲得補償矢量，進行幀間運動矢量的補償，最終達到視頻序列的穩定流暢，常用的運動矢量補償包括多假設運動補償、重疊塊運動補償、多矢量平均等方法。