[發明專利]基于HHI分層B幀預測結構的多視點視頻編碼的改進方法

無效

• 申請號: 200910021528.6
• 申請日: 2009-03-13
• 公開（公告）號: CN101511016A
• 公開（公告）日: 2009-08-19
• 發明（設計）人: 趙凡;劉貴忠;張娜;任斐斐
• 申請（專利權）人: 西安交通大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/36;H04N7/50
• 代理公司: 西安通大專利代理有限責任公司
• 代理人: 惠文軒

技術領域

本發明涉及視頻編碼技術領域，特別涉及一種基于HHI分層B幀預測結構的多視點視頻編碼的改進方法。

背景技術

隨著多媒體技術的發展，人們不再滿足于僅僅是坐在電視機前觀看傳來的固定視角視頻節目，況且該視角也是由拍攝時的攝像機位置而非觀眾自己決定的。正是由于這種需求，加之數字多媒體技術的發展以及數字攝像機成本的大幅度降低，促使了FTV(Free?Viewpoint?Television)和3DTV(3Dimensional?Television)的出現。作為下一代的電視，它們致力于給用戶提供具有三維印象并且可交互的視聽體驗。理論上講，這兩者并沒有本質的區別，只是偏重點有所不同，FTV著眼于交互性(interoperability)，用戶可以選擇自己想要觀看的視角和距離；而3DTV旨在提供用戶三維的擬真體驗。

三維印象的提供依賴于多攝像機陣列從不同角度對同一場景進行拍攝所獲得的時間上同步的多視點視頻序列，而攝像機陣列獲得的視頻數據量隨著攝像機的數目增加而呈線性增加，如何存儲和傳輸這些海量的視頻數據是研究者面臨的首要問題。作為FTV和3DTV系統中的重要環節，多視點視頻編碼(MVC，Multi-view?Video?Coding)應運而生，并成為以上兩種應用的關鍵技術。MPEG組織很早就注意到了該技術潛在的巨大前景，將其先后置于3DAV組織及JVT組織下進行探索，致力于實現MVC的標準化。

MPEG框架下MVC的研究集中在三個方面：預測結構、預測工具和預處理工具，它們分別從不同的渠道提高多視點視頻的編碼效率。其中，MVC預測結構的研究主要是通過設計視點間和時間方向的預測關系，有效去除多視點視頻信號的視點間和時間方向的冗余信息；編碼工具的研究主要從利用視點間相關性和補償視點間差異性兩個角度出發，研究一些新的編碼工具，以提高MVC的編碼效率；預處理工具主要包括高層語法的擴展研究，它是在H.264/AVC的框架下定義一些新的語法語義，以適應和支持MVC的具體應用。

關于預測結構的研究，其關鍵是在合理的計算復雜度和支持隨機訪問的前提下尋找一種有效的參考結構，以最大限度地去除多視點視頻序列中時間方向和視點間的冗余，從而提高編碼效率。最直接的思路就是將各個視點的視頻序列單獨用現有的標準編碼，顯然，這不能有效的利用視點間的相關性。同一時刻各視點的幀間具有很高的相似性，各視點視頻序列中存在著明顯的數據冗余。相關實驗也證明，與傳統視頻編碼中利用運動估計和運動補償來消除時間方向上數據冗余類似，利用合理的視差估計與補償方法能有效地消除各視點的幀間數據冗余，得以有效地提高多視點視頻的壓縮性能。基于此，先后有GoGOP結構、順序視點預測結構及棋盤分解結構被提出。綜合評估了兼容性，編碼性能和隨機訪問性能之后，由FraunhoferHHI(Heinrich-Hertz-Institute)提出的基于分層B幀的視點間預測和時域預測相結合的預測編碼結構，獲得了較高的編碼效率，被JVT采納為JMVM的參考預測結構。該方案是GoGOP結構的一種，其特點在于它是對H.264/MPEG4?AVC的直接擴展，并延用了分層的B幀結構，此結構的計算復雜度很高。

于是，很多研究者致力于通過各種方式降低HHI分層B幀預測結構的時間復雜度。時間方向的運動估計/補償和視點間的視差估計/補償是多視點視頻序列編碼中計算量最大的部分，其中視差估計/補償類似于之前各種標準中的運動估計/補償，只是其參考幀來自另外一個攝像機在同一時刻的圖像幀。

目前，基于HHI分層B幀預測結構的多視點視頻編碼方法，未考慮到由于攝像機的位置關系，待編碼圖像邊界的一些宏塊很可能在相鄰視點幀中找不找匹配，而對于上述找不到匹配的宏塊以相鄰視點幀作為參考進行幀間預測，造成編碼的時間復雜度額外提高。

發明內容

本發明的目的在于提供一種基于HHI分層B幀預測結構的多視點視頻編碼的改進方法，它能夠在不影響重構圖像質量的條件下，有效地降低視頻序列編碼的時間復雜度。

為了達到上述目的，本發明采用以下技術方案予以實現。一種基于HHI分層B幀預測結構的多視點視頻編碼的改進方法，其特征在于，

對于I視的非關鍵幀和P視的非關鍵幀，其參考幀選擇時間方向幀；P視的關鍵幀和B視的關鍵幀，其參考幀選擇同時刻的相鄰視點幀；