[發明專利]基于視點合成的多視點容錯編碼框架

有效

• 申請號: 200910059509.2
• 申請日: 2009-06-04
• 公開（公告）號: CN101986713A
• 公開（公告）日: 2011-03-16
• 發明（設計）人: 夏旭;彭強;張蕾;朱策
• 申請（專利權）人: 西南交通大學
• 主分類號: H04N7/64
• 分類號: H04N7/64
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于視頻編碼和處理領域，具體涉及多視點視頻壓縮編碼過程中差錯控制算法的研究。

背景技術

多視點視頻是由攝像機陣列從不同角度拍攝同一場景得到的一組視頻信號，與單視點視頻相比，多視點視頻能夠獲取場景的三維信息，從而更加生動地再現立體場景。在現有的多視點編碼方案中，基于視點合成的多視點編碼方案充分利用了多視點視頻數據的相關性以及隱含的關于場景的三維信息，提供了一種高效靈活、視點伸縮性強的多視點編碼思想，受到了國內學者越來越廣泛的關注。

現有的基于視點合成的多視點編碼框架，主要以研究如何提高編碼效率、同時提供隨機訪問性強的多視點視頻流為主，如圖1所示。此編碼框架結構將多個視點分為了一個基本視點、多個增強視點，以及基本視點的深度圖像。基本視點圖像和基本視點深度圖像均采用標準的單視點編碼方法獨立編碼，如圖1中的基本視點V1和基本視點深度圖D。增強視點采用視點合成預測方式編碼，編碼實際內容為增強層原始圖像與視點合成預測圖像的殘差，殘差使用標準的編碼方式編碼。其中視點合成預測圖像是由基本視點同時刻重建圖像和深度圖像通過投影變換獲得，如圖1中的增強視點V0和V2。

此編碼結構通過視點合成預測技術很好的利用了多視點隱含的深度信息，極大的提高了增強視點的編碼性能，同時提供了增強視點的隨機訪問能力。但是視點合成預測技術的使用在一定程度上犧牲了多視點視頻流的傳輸魯棒性。在有損的網絡傳輸環境中，一旦基本視點出現傳輸差錯，差錯會通過視點合成預測編碼擴散到每個增強視點中，而從降低整個多視點圖像質量。

鑒于現有技術的以上缺點，本發明的目的是提出一種基于視點合成的多視點容錯編碼框架，使之克服現有技術的以上缺點，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環境下的視頻傳輸。本發明的目的是通過以下的手段實現的。

基于視點合成的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編碼，選擇其中一個視點編碼為基本視點，其余視點編碼為增強視點；增強視點采用視點合成預測方式編碼，利用基本視點的深度圖，獲取增強視點的視點合成預測圖像，編碼框架中引入基于分布式視頻編碼的差錯控制幀，具體編碼方法如下：

(幀內編碼幀，記為I幀；幀間編碼幀，記為P幀；雙向幀間預測幀，記為B幀；差錯控制幀，記為E幀)

對于基本視點編碼

1)基本視點視頻序列第1幀圖像編碼為I幀；

2)確定基本視點其余待編碼幀是否編碼為E幀；

3)基本視點的待編碼幀若為E幀，則采用基于分布式視頻編碼的幀內編碼方式，其邊信息是以前一幀重建圖像為參考進行運動補償獲取的幀間預測圖像；

4)基本視點的待編碼幀若不為E幀，則使用標準的編碼方式編碼，可以編碼為I幀、P幀或者B幀；

對于深度圖編碼

采用標準的編碼方式獨立編碼，可以編碼為I幀、P幀和B幀；對于增強視點編碼

1)確定增強視點待編碼幀是否編碼為E幀。如果基本視點同時刻幀為E幀，增強視點當前幀編碼為E幀，否則使用標準的編碼方式編碼；待編碼幀原始圖像與視點合成預測圖像的殘差，殘差可以編碼為I幀、P幀或者B幀；

2)增強視點的待編碼幀若為E幀，則采用基于分布式視頻編碼理論的幀內編碼方式，其邊信息圖像由預測圖像疊加而成；

3)增強視點的待編碼幀若不為E幀，則使用視點合成預測方式編碼：首先使用基本視點同時刻重建圖像和深度圖像通過投影變換獲取當前增強視點的視點合成預測圖像；然后使用標準的編碼方式編碼待編碼幀原始圖像與視點合成預測圖像的殘差，殘差可編碼為I幀、P幀或者B幀。

所述具體的分布式視頻編碼方式有多種方法，可以采用基于SW理論的無損編碼，也可以采用基于WZ理論的有損編碼。

采用本發明基于視點合成的多視點容錯編碼框架，通過在基于視點合成的多視點視頻編碼框架中引入基于分布式視頻編碼理論的差錯控制幀，比標準的幀內編碼具有更好的編碼效率；同時抗差錯性能強，即使邊信息(與標準視頻編碼中的參考信息類似)出現傳輸差錯，它仍然能夠正確解碼，從而增強了多視點視頻流的傳輸魯棒性，充分利用分布式視頻編碼的傳輸魯棒性特性，減小視點間合成預測引起的視點間差錯擴散對多視點視頻圖像質量的影響，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網絡環境下的視頻傳輸。

附圖說明如下：

圖1是現有技術基于視點合成的多視點編碼框架圖。

圖2是本發明基于視點合成的多視點容錯編碼框架圖。

圖3是本發明基于視點合成的多視點容錯編碼框架中增強層差錯控制幀的編碼示意圖。