[發明專利]基于HEVC的3D質量可伸縮視頻編碼

有效

• 申請號: 201410094081.6
• 申請日: 2014-03-14
• 公開（公告）號: CN104010196B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 張萌萌;路洪運
• 申請（專利權）人: 北方工業大學
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/147;H04N19/105;H04N19/29;H04N19/103
• 代理公司: 暫無信息
• 代理人: 暫無信息

聯合研究?

本申請由北方工業大學與北京交通大學信息所聯合研究，并得到以下基金資助：國家自然科學基金(No.61103113，No.60903066)，北京市屬高等學校人才強教深化計劃項目(PHR201008187)；江蘇省自然科學基金(BK2011455)，北京市自然科學基金(No.4102049)，教育部新教師基金(No.20090009120006)；國家973計劃(2012CB316400)，中央高校基礎研究基金(No.2011JBM214)。?

技術領域

本發明涉及數字視頻處理領域，更具體而言，涉及高效視頻編碼(HEVC)，再更具體而言，涉及基于HEVC的3D質量可伸縮視頻編碼的方法和裝置。?

背景技術

隨著視頻服務領域的快速發展，人們在注重視頻高壓縮率的同時，也把更多的目光投向了視頻的可伸縮性。當前，諸如高清晰度電視(High?Definition?Television，HDTV)、數字視頻服務器(Digital?Video?Server，DVS)等高帶寬網絡設備，和低帶寬移動網絡日益成為人們生活中不可或缺的部分。尤其3G/4G網絡的進一步普及，越來越多的人通過他們的移動終端分享瀏覽視頻內容。然而，在不穩定和低效的網絡中視頻傳輸系統會因為信號衰落、干擾和偏差而引起網絡異變、數據包損失等問題。針對于此，人們提出可伸縮(scalable)視頻編碼來解決網絡和終端設備的異構問題。通過衡量視頻分辨率，計算能力和網絡帶寬等因素作為可伸縮編碼的判斷準則，以在任意時刻傳遞匹配的視頻內容滿足網絡和用戶的要求。通常來講，可伸縮編碼是一種備受關注的視頻處理方法，它可以用來解決現代網絡傳輸系統導致的特殊問題。人們已經研究可伸縮視頻編碼至少二十年了。在之?前的視頻編碼標準中，可伸縮特性已經成功被引入，例如視頻標準MPEG-2，MPEG-4的細粒度可伸縮編碼，還有基于H.264/AVC的中等精度可伸縮編碼。在拋棄高計算復雜度的小波變換后，精確而又簡單的層間預測被引入可伸縮方案。盡管如此，由于傳統視頻編碼本身的復雜特性和可伸縮解碼的低效和復雜度高的特點，上述一系列標準的可伸縮擴展仍舊難以廣泛地適用于實際。然而，隨著下一代視頻編碼標準HEVC的制定，這一現象正在發生轉變。HEVC在視頻分辨率和幀率方面的特殊性使可伸縮編碼成為可能。?

HEVC使用與H.264/AVC類似但更具復雜性的混合編碼結構。HEVC等級四叉樹結構包括三種塊分割結構單元，它們分別是編碼單元(Code?Unit，CU)，預測單元(Prediction?Unit，PU)和變換單元(Transform?Unit，TU)。相比較之前的H.264/AVC編碼標準，HEVC支持更大的編碼樹單元，這對于高分辨率視頻編碼有更高效的編碼性能。對HEVC而言，不僅僅是編碼性能的提升，還包括計算復雜度的降低，多種編碼工具的統一，友好的并行設計等方面在歷次會議中都做了進一步研究。HEVC的目標是在一定的視頻質量的情況下，具有低碼率，高分辨率，低延時的編碼特性。經過一系列工具的結合，新設計的HEVC標準在同等質量前提下較之前的視頻標準節省近50％的碼流。作為HEVC的擴展標準，可伸縮編碼(Scalable?High?Efficiency?Video?Coding，SHVC)和3D視頻編碼也在探索和準備中，不久以后這些擴展將會具有重要的實際應用。?

近年來，3D視頻編碼正進入廣泛的大眾市場。作為HEVC擴展之一，制定中的3D視頻編碼充分利用HEVC單視角編碼工具并參照3D特性采用其他特殊的編碼方法。基于深度圖像繪制(Depth-Image-Based?Rendering，DIBR)技術就是廣泛應用于視頻合成的特殊技術方法之一。DIBR技術是典型的處理深度感知圖像的視角合成算法。3D深度圖像是由三維系統提供，可以用于確保人們看到一個特殊的三維視角。因此，3D視頻編碼也可以稱為加深度多視角視頻(Multiview?Video?plus?Depth，MVD)。對于其中一個視角而言，它僅需有一個視頻圖像和一個深度圖像來合成三維視角，視角合成系統如圖2所示。深度圖像會根據本身特性以4:0:0的色度采樣方法壓縮碼率。盡管我們會獲得比2維傳統視頻更多的視覺體驗，但仍需要高帶寬環?境和快速計算能力等要求來滿足3D視頻編碼的需要，這阻礙了3D視頻編碼的廣泛應用。但隨著傳統編碼性能的提升，可伸縮3D視頻編碼方案將有可能解決3D視頻編碼應用于互聯網和無線網絡所遇到的難題。?

但是，3D視頻編碼仍然存在網絡異構和不可靠網絡等問題。?

發明內容