[發明專利]對多視角視頻進行編碼的方法和設備

無效

• 申請號: 200680030315.4
• 申請日: 2006-08-19
• 公開（公告）號: CN101243692A
• 公開（公告）日: 2008-08-13
• 發明（設計）人: 河泰鉉;俞弼皓
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N7/32
• 分類號: H04N7/32
• 代理公司: 北京銘碩知識產權代理有限公司
• 代理人: 郭鴻禧;譚昌馳

?????????????????????????技術領域

根據本發明的方法和設備涉及對多視角視頻序列進行編碼，更具體地講，涉及使用最少量的關于多視角視頻的信息對多視角相機拍攝的多視角視頻進行編碼。

?????????????????????????背景技術

在實現高質量的信息和電信服務中，真實性是重要的因素。可使用基于三維(3D)圖像的視頻通信來獲得真實性。3D成像系統在教育、娛樂、醫療手術、視頻會議等具有很多潛在應用。為了向很多觀察者提供遠方場景的更生動和精確的信息，將三個或更多個相機放置在稍微不同的視點以產生多視角序列。

很多研究組已經開發了3D圖像處理和顯示系統反映了對3D圖像的當前興趣。在歐洲，通過若干項目(比如DISTIMA)已經開始了對3DTV的研究，目的在于開發一種用于捕獲、編碼、發送和顯示數字立體圖像序列的系統。這些項目已經產生另一項目PANORAMA，其目標在于增強在3D遠程呈現通信中的可視信息。這些項目還產生另一項目ATTEST，其中，研究關于3D內容獲取、3D壓縮和傳輸以及3D顯示系統的各種技術。在ATTEST項目中，應用運動圖像專家組2(MPEG-2)和數字視頻廣播(DVB)標準以使用時間可伸縮性來發送3D內容。為了獲得時間可伸縮性，基本層被用于傳輸2D內容，高級層被用于發送3D內容。

1996年修改了MPEG-2標準，以定義多視角類(multiview?profile，MVP)。MVP以MPEG-2語法定義用于多相機序列和獲取相機參數的時間可伸縮模式的使用。

表示多視角視頻信號的基本層流可以以減小的幀率被編碼，可被用于在幀間插入另外幀的增強層流可被定義為在兩種流都可用時允許以全幀率再現。一種對增強層進行編碼的非常有效的方式在于基于基本層幀或者最近重構的增強層幀來確定對增強層幀中的每一宏塊執行運動補償估計的最佳方法。

使用時間可伸縮性語法對這種多視角視頻信號進行立體和多視角信道編碼的處理很簡單。為此，來自具體相機視角的幀(通常是左眼幀)被定義為基本層，來自其他相機視角的幀被定義為增強層。基本層表示同時的單視場序列。對于增強層，盡管在封閉的區域內不能進行視差補償估計，但是仍舊可在相同信道內使用運動補償估計來保持重構的圖像的質量。由于MPEG-2MVP主要為立體序列定義，所以它不支持多視角序列，并且本質上難于擴展到多視角序列。

圖1是傳統的MPEG-2MVP的編碼器和解碼器的框圖。MPEG-2提供的可伸縮性被用于用圖像處理裝置同時對具有不同分辨率或格式的圖像解碼。在MPEG-2支持的可伸縮性中，時間可伸縮性被用于通過增加幀率來提高視覺質量。考慮到時間可伸縮性，MVP被應用到立體序列。

圖1所示的編碼器和解碼器是利用時間可伸縮性的立體視頻編碼器和解碼器。立體視頻中的左圖像被輸入到基本視角編碼器，右圖像被輸入到時間輔助視角編碼器。

時間輔助視角編碼器提供時間可伸縮性，并且是用于在基本層的圖像之間交織圖像的層間編碼器。

當左圖像被單獨編碼和解碼時，可獲得二維(2D)視頻。當左圖像和右圖像被同時編碼和解碼時，可獲得立體視頻。為了傳輸或存儲視頻，需要系統復用器和系統解復用器以結合或者分離這兩種圖像的序列。

圖2是使用MPEG-2?MVP的傳統立體視頻編碼器和解碼器的框圖。

通過運動補償和離散余弦變換(DCT)來對基本層的圖像進行編碼。以相反的處理來對編碼的圖像進行解碼。時間輔助視角編碼器用作基于基本層的解碼的圖像執行預測的時間層間編碼器。

換句話說，可執行兩次視差補償的估計，或者各執行一次視差估計和運動補償的估計。與基本層的編碼器和解碼器一樣，時間輔助視角編碼器包括視差和運動補償的DCT編碼器和解碼器。

此外，因為運動估計/補償編碼處理需要運動估計器和補償器，所以視差補償的編碼處理需要視差估計器和補償器。除了基于塊的運動/視差估計和補償之外，編碼處理還包括對估計的圖像和原始圖像之間的差執行DCT、對DCT系數執行量化并執行可變長度編碼。另一方面，解碼處理包括可變長度解碼、逆量化和逆DCT。

因為對雙向運動補償的畫面(B畫面)執行雙向運動估計，所以MPEG-2編碼是非常有效的壓縮方法。由于MPEG-2編碼提供非常有效的時間可伸縮性，所以B畫面可被用于對右圖像序列進行編碼。結果，可產生高度壓縮的右序列。

圖3示出基于視差的預測編碼，其中，對雙向運動估計使用兩次視差估計。

使用不可伸縮的MPEG-2編碼器來對左圖像進行編碼，基于解碼的左圖像使用MPEG-2時間輔助視角編碼器來對右圖像進行編碼。