[發明專利]一種結合超分辨率重建的超高清視頻新型壓縮框架

有效

• 申請號: 201710151638.9
• 申請日: 2017-03-15
• 公開（公告）號: CN106961610B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 何小海;李向群;蘇姍;熊淑華;卿粼波;吳小強;滕奇志
• 申請（專利權）人: 四川大學
• 主分類號: H04N19/59
• 分類號: H04N19/59;H04N19/154;H04N19/132
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明針對HEVC視頻編碼標準提供了一種結合超分辨率重建的超高清視頻新型壓縮框架。主要包括利用奇數分割方法，結合基于學習的超分辨率重建技術。利用一種基于“分割?補償”的策略來進一步提升針對單幅圖像或I幀的壓縮性能，利用HEVC作為基本編碼框架，利用HEVC幀內編碼和幀間編碼的各自特征對視頻序列進行壓縮。并利用超分辨率重建技術對重建視頻客觀質量進一步提升。實驗結果表明，本發明的視頻壓縮方法，基本實現了在低碼率端的同等碼率情況下的重建視頻質量的提升。

技術領域

本發明涉及圖像通信領域中的視頻壓縮技術問題，尤其是涉及一種結合超分辨率重建的超高清視頻壓縮方法。

背景技術

隨著高清圖像和視頻(1920×1080像素及以上)的普及，甚至已有4K(3840×2160)電視機的信號以及8K(8192×4320)超高清視頻，人們對高清圖像和視頻的需求不斷增加，數據量也隨之不斷增大。僅僅憑借硬盤的容量擴充和傳輸設備的更新改進，還不能很好地解決存儲和傳輸的問題。因此，如何在保證視頻編碼質量的同時降低編碼的計算復雜度成為了視頻編碼領域研究的熱點。

我們知道，利用圖像和視頻資源在時間和空間上的冗余性可實現對數據量的壓縮。現有的用于靜止圖像壓縮的JPEG、JPEG2000標準，主要適用于視頻資源壓縮的編碼標準H.264/AVC、最新的高性能視頻編碼(HEVC)等都是變換編碼和預測編碼結合的混合編碼框架。類似于以往的國際標準，HEVC仍舊采用混合編碼框架，包括變換、量化、熵編碼、幀內預測、幀間預測以及環路濾波等模塊。但是HEVC幾乎在每個模塊中都引入了新的編碼技術。HEVC編碼標準與之前主流的壓縮標準H.264/AVC相比，重建圖像的質量在相同PSNR下，編碼碼率可以節省50％以上，目前來說，HEVC標準的性能是最好的，超過了以往所有的圖像和視頻編碼標準。但HEVC的編碼計算復雜度也超過了以往所有編碼標準，因此，一些研究機構和研究人員對如何有效降低HEVC的編碼計算復雜度展開了大量研究。

實際上在H.264/AVC視頻編碼階段，針對壓縮性能提升方面的研究已經取得了一定的成果。其中幀內自適應分割預測編碼(ADPC)的編碼性能提升比較突出。ADPC把I幀通過水平或垂直采樣分成兩幀分別進行幀內和幀間編碼，再使用率失真代價函數對兩種采用方式和標準預測模式進行最優選擇。另外，針對H.264/AVC的幀間預測宏塊級混合時空預測算法(MLH-TSP)被提出。MLH-TSP提出了垂直時空預測(VTSP)和水平時空預測(HTSP)用來編碼幀間編碼幀中的宏塊，最后仍然利用率失真代價函數進行最終預測模式的選擇。但當視頻序列分辨率足夠大時，在某一幀劃分為四個或更多的子幀后，相鄰子幀之間即具備有很強的時間相關性，可充分利用相鄰幀間的相關性，去除時間冗余。為了減少預測殘差即進一步減少所要傳遞的數據量，幀內預測可以合理的轉化為幀間預測。一種基于樹形結構的自適應多采樣幀內預測編碼算法被提出(A Tree Structure Based Adaptive MultisamplingPrediction Coding for Intra-Frame，TS_AMPC)。此方法繼續沿用分割的思路，把I幀分割為4個子幀后分別進行幀內和幀間編碼，最后使用率失真代價函數對四種采用方式和標準預測模式進行最優選擇。

發明內容

為了提高新一代視頻壓縮編碼標準HEVC視頻編碼性能，本發明在充分利用HEVC編碼標準基礎上，結合超分辨率重建技術、幀內預測和幀間預測相關性，提出了一種新型視頻壓縮編碼方法，在低碼率段相比HEVC標準編碼方法有一定的性能提升。

本發明的基本思想是利用一種基于“分割-補償”的策略來進一步提升針對單幅圖像或I幀的壓縮性能，利用HEVC作為基本編碼框架，利用HEVC幀內編碼和幀間編碼的各自特征對視頻序列進行壓縮。并利用基于學習的超分辨率重建技術對重建視頻客觀質量進一步提升。進而達到在HEVC基礎上進一步提高視頻編碼性能的目的。