[發明專利]視頻圖像的轉換方法及裝置

有效

• 申請號: 201210013123.X
• 申請日: 2012-01-16
• 公開（公告）號: CN103208110B
• 公開（公告）日: 2018-08-24
• 發明（設計）人: 劉立峰;林福輝
• 申請（專利權）人: 展訊通信(上海)有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/00;H04N13/261;H04N13/268;H04N13/161
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳敏

一種視頻圖像的轉換方法及裝置。所述視頻圖像的轉換方法包括：對二維視頻的當前幀圖像進行預處理獲得當前幀預處理圖像，所述預處理包括：去除當前幀圖像的全局運動；提取所述當前幀預處理圖像的深度圖像；基于所述當前幀預處理圖像及其深度圖像獲取當前幀圖像的左眼圖像和右眼圖像。本發明的技術方案，在實現了在手機上將二維視頻轉換為三維視頻的同時，也使得用戶在通過具有單一攝像頭的手機制作3D視頻的過程中可以沿任意方向移動手機，且不需要進行多次操作就可以獲得效果較佳的3D視頻，給用戶提供了極大的方便。

技術領域

本發明涉及圖像技術領域，尤其涉及一種視頻圖像的轉換方法及裝置。

背景技術

隨著計算機技術與通信技術的快速發展，多媒體視頻應用得到了越來越廣泛的推廣，例如：多媒體視頻播放、數字電視、視頻通話，通過手機攝像等。然而，傳統的二維(2D)視頻的顯示效果缺乏層次感和立體感，不能滿足人們對視頻圖像逼真感的要求，人們需要在觀看視頻圖像時有身臨其境的感覺，因此，三維(3D)視頻技術應運而生。

3D視頻的產生主要基于兩種實現方式：一種是采用立體相機直接產生3D視頻，采用該方式拍攝得到的3D視頻立體效果強，視覺效果真實，然而制作成本卻相當高。另一種則是通過一定的算法將現有的2D視頻轉換為3D視頻，具體地，可以通過將2D視頻中存在的景深信息提取出來，利用景深信息將2D視頻轉換為3D視頻，并通過3D視頻顯示終端顯示，采用該方式產生的3D視頻，成本低廉，成為產生3D視頻的一個主要發展方向。

目前，數字電視領域已經實現了將普通的單路2D視頻轉換成3D視頻，如圖1所示，圖1是應用于數字電視的2D視頻到3D視頻的轉換系統，包括兩個基本模塊：深度圖像估計模塊1和3D圖像渲染模塊2。其中，深度圖像估計模塊1包括：運動估計單元10、彩色圖像分割單元11以及融合單元12；3D圖像渲染模塊2包括：3D圖像映射單元20和空洞填充單元21。

運動估計單元10用于獲取單路2D視頻的運動矢量場(運動信息)，彩色圖像分割單元11用于將單路2D視頻按照色彩分割為各個區域，融合單元12用于對運動估計單元10獲得的運動矢量場和彩色圖像分割單元11獲得的分割后的各個區域的色彩信息進行融合最終獲得單路2D視頻的深度圖像，3D圖像映射單元20將獲得的深度圖像進行映射，并通過空洞填充單元21對映射后的深度圖像進行空洞填充進而得到左眼圖像。將單路2D視頻作為右眼圖像，那么將最終獲得的具有一定視差的左眼圖像和右眼圖像通過3D視頻顯示系統即可顯示出3D視頻。

對于上述的2D視頻圖像的深度圖像的獲取也可以采用其他的方式，例如：利用具有景深提取功能的攝像機獲取深度圖像，具體地，可以是利用紅外或者結構光等方法獲得景深圖像的攝像機；還可以利用雙路視頻獲取深度圖像。

現有的一種利用雙路視頻獲取深度圖像如圖2所示，其是利用混合迭代匹配(HRM，Hybird Recrusive Matching)算法提取深度圖像的流程示意圖。如圖2所示，以左眼圖像為例，先對左眼圖像進行矯正，可以采用反畸變模型法進行，對矯正后的左眼圖像進行混合迭代匹配，將經過混合迭代匹配后的左眼圖像進行一致性檢驗以去除不可信的運動矢量。對矯正后左眼圖像進行圖像分割，并對分割后的左眼圖像、矯正后的左眼圖像以及經過一致性檢驗的左眼圖像進行基于區域的后處理，以進一步提高深度圖像生成的精度，最后對分割后的左眼圖像、矯正后的左眼圖像以及經過基于區域的后處理獲得的左眼圖像進行基于區域的內插以獲取左眼深度圖像。對于右眼深度圖像的獲取與左眼深度圖像的獲取相類似，故不再展開具體詳述。

隨著3D視頻技術和手機技術的發展，尤其是3D視頻的顯示技術，經歷了從傳統的需要立體眼鏡的紅藍補色立體顯示技術，到快門式立體顯示技術，到現在的裸眼3D顯示技術(不需要立體眼鏡)，給手機3D視頻的播放和顯示提供了相應的技術基礎。