[發明專利]一種立體視頻碼流處理方法及裝置

有效

• 申請號: 201110327818.0
• 申請日: 2011-10-25
• 公開（公告）號: CN102438141A
• 公開（公告）日: 2012-05-02
• 發明（設計）人: 藍德巖;張軍;李厚強
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50;H04N13/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明

技術領域

本發明涉及視頻技術領域，特別涉及一種立體視頻碼流處理方法及裝置。

背景技術

隨著多媒體技術的不斷發展，多視角視頻獲得了越來越廣泛的關注，并開始逐步走進人們的日常生活。然而多視角視頻應用所需要的數據量是非常龐大的，進而增加傳輸和存儲負擔。為此，JVT(Joint?Video?Team，聯合視頻專家組)專門制定了MVC(Multiview?Video?Coding，多視角視頻編碼)標準。MVC標準作為H.264/AVC(Advanced?Video?Coding，新一代視頻編碼)標準(正式名稱，ISO/IEC?14496-10)的擴充，在H.264/AVC標準的附錄H中指定。MVC標準在H.264/AVC標準的基礎上又加入了新技術，充分的利用了不同視角之間的相關性，從而降低視角間冗余數據量，能夠在處理多視角視頻的場景中提高編碼效率、降低解碼復雜度。

請參閱圖1，圖1是一種典型的MVC預測結構，其中S_n是視角順序，T_n是時間順序。每個視角按照可分級B幀預測編碼，即在參考本視角內已編碼幀的同時還可以使用相鄰視角同一時刻的對應幀作為參考進行編碼。圖1中S₀為視角0——基本視角，視角0中的視頻幀使用視角內預測，即在進行預測編碼時，不可以參考同一時刻其他視角的視頻幀，其編碼后獲得的碼流結構與AVC碼流結構完全兼容。圖1中S₂，S₄，S₅為P視角，P視角中的視頻幀選用單方向同一時刻其他視角的視頻幀進行視角間預測，圖1中的S₁，S₃為B視角，B視角中的視頻幀可以選用左右兩個方向同一時刻其他視角的視頻幀進行視角間預測。P視角和B視角編碼后獲得的碼流結構與AVC碼流結構不完全兼容。MVC碼流中的擴展視角子碼流無法使用AVC解碼器直接解碼，對于現有終端設備采用AVC解碼器對數據進行解碼的用戶，需要將傳輸的MVC碼流轉換為AVC碼流，再進行解碼。

目前，在進行MVC碼流到AVC碼流轉換時，通常使用的碼流轉換方法能夠將MVC碼流轉換為多個AVC碼流，每個AVC碼流對應單一視角。數據轉換方法是一種利用MVC碼流的運動信息，對MVC碼流的解碼結果或者解碼中間結果進行快速二次編碼的方法。其中：對采用幀內模式編碼的宏塊或者錨定幀內的宏塊，在數據轉換過程中，使用幀內模式編碼。對采用視角內預測的宏塊，在數據轉換過程中，保持原始運動信息不變。對采用了視角間預測的P視角和B視角中的宏塊，在數據轉換過程中，需要更新運動信息，具體為：進行數據轉換視角中的宏塊利用全局視差找到所參考視角中的對應宏塊；使用對應宏塊的參考幀，預測模式和運動矢量等信息作為進行數據轉換宏塊的參考幀，預測模式和運動矢量信息。然而，由于參考幀，預測模式，運動矢量信息發生變化，造成重建宏塊失真，并且會將失真引入到編碼后續幀中，導致轉換后的AVC碼流失真率增加，進而導致終端設備顯示的圖像失真，降低圖像質量。

發明內容

有鑒于此，本發明提供了一種立體視頻碼流處理方法及裝置。提取采用特定預測結構編碼的MVC碼流中基本視角子碼流和一個僅參考基本視角的擴展視角子碼流，所提取的這兩個視角子碼流作為立體視頻碼流，實現該立體視頻碼流到AVC碼流的無損轉換，進而保證AVC解碼器輸出圖像與MVC解碼器輸出對應圖像一致，不損失圖像質量。

本發明在編碼MVC碼流時采用IPPPP...預測結構，采用這樣的預測結構，是為了可以根據人眼瞳距選擇最佳視角構成雙目視頻以形成立體視頻。本發明在接收MVC碼流后，可以根據人眼瞳距提取基本視角子碼流和與人眼瞳距最接近的一個擴展視角子碼流，并將這兩個視角子碼流無損地轉換為一個AVC碼流，從而保證用戶觀看AVC解碼器輸出的雙目立體視頻無變形失真現象。

為實現上述目的，本發明提供如下技術方案：

基于本發明的一方面，提供一種立體視頻碼流處理方法，該方法支持新一代視頻編碼標準H.264/AVC標準附錄H指定的多視角視頻編碼MVC標準，其特征在于，包括：

接收多視角視頻編碼MVC碼流，并將其轉換成MVC的視頻編碼層VCL數據流，其中所述MVC碼流在編碼端采用IPPPP...預測結構編碼，所述IPPPP...預測結構為所述MVC碼流的視角包括基本視角I視角和多個擴展視角P視角，且擴展視角P視角在進行視角間預測時，均以基本視角I視角相同時刻的視頻幀作為參考幀；