[發明專利]低碼率視頻超分辨率重構的編碼裝置和解碼裝置

有效

• 申請號: 200810042483.6
• 申請日: 2008-09-04
• 公開（公告）號: CN101345870A
• 公開（公告）日: 2009-01-14
• 發明（設計）人: 應忍冬;張云斐;孔吉;廖夢新;劉佩林
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;G06T7/00
• 代理公司: 上海交達專利事務所
• 代理人: 王錫麟;王桂忠

技術領域

本發明涉及一種視頻處理領域的技術，具體是一種低碼率視頻超分辨率重構的編碼裝置和解碼裝置。

背景技術

低碼率視頻的傳輸和編解碼技術是當前信息科學領域的研究熱點，該技術應用基礎廣泛，如手機電視、視頻監控、遠程醫療、車輛無人駕駛等；在軍事領域，該方面也有著的巨大的應用價值，比如空中無人偵查、海底無線視頻傳輸、遙感成像、敵意干擾環境下的視頻傳送等。隨著大量視頻應用不斷涌現以及高分辨率顯示設備的普及，市場對低碼率視頻的質量要求也越來越高，然而作為公有資源的“傳輸帶寬”總是相對緊缺的，因而在低碼率條件(例如200kbps或更低)條件下得到高質量的圖像質量是上述視頻應用不變的追求。

現有的成熟的視頻壓縮標準有MPEG-4、H.261、H.263、H.264，以及AVS等，這些編碼的共同特征是基于混合編碼技術，即：通過運動補償加上變換編碼的技術。其中運動補償利用了視頻信息在時間和空間的相關性，而變換編碼技術應用了視頻圖像在頻域的能量集中特性。這些編解碼系統中，編碼和解碼對應的圖像尺寸相同，解碼算法的設計目標是盡可能逼真地復原編碼端的圖像。由于低碼率的限制，他們不能直接獲得高于編碼器所提供的圖像分辨率。

除了上述技術之外，還有一種視頻處理技術：超分辨率圖像重構技術，該技術可以從低分辨率圖像重構出高分辨率的圖像，該技術有以下三個方向：基于多幅靜態圖像樣本的超分辨率重構技術、基于圖像成像模型的求逆的方法研究、利用圖像的概率統計模型進行超分辨率重構。

基于多幅靜態圖像樣本的超分辨率重構技術是通過匹配算法找出同一目標對象的各個像素在不同圖像樣本中的對應關系，經過象素數據的融合重構出高分辨率的圖片。由于該算法假設多幅圖片所反映的物體對象是靜態的或基本靜止，不同圖像樣本之間的差別由物體的整體平移和旋轉兩個參數描述，這些限制條件使這一類算法應用領域相對較窄、且對于不同的圖像性能不穩定，另外所提出的算法運算量大，難以應用于高度動態的和實時的視頻編解碼技術中。該技術適用于遙感照片、照片修復等準靜態的對實時要求低的領域；

基于圖像成像模型的求逆的方法研究是通過在正則化條件下對模型方程求逆，重構出原始的高分辨率圖像，由于這一類超分辨率重構技術需要求逆的方程一般是非線性和病態的，圖像重構需要通過大量的迭代搜索運算實現。此外該算法的性能受正則化約束的選擇影響大。這些問題同樣使得它難以應用在實時解碼的視頻播放系統。

經對現有技術文獻的檢索發現，王濤等人在2007年小波分析和模式識別國際會議上發表的《automatic?super?resolution?image?reconstruction?based?onhybrid?MAP-POCS》(《基于MAP和POCS的自動化圖像超分辨率重構》)中提到的基于最大后驗概率(MAP)和凸集投影(POCS)算法相結合的超分辨率重建方法，具體來說，首先使用APEX算法對升采樣后的參考圖像去卷積，以得到點擴散函數(PSF)和對原始高分辨率圖像的近似，然后建立Huber-Markov隨機場圖像先驗模型，用MAP方法對非齊次控制參數進行估計，最后通過迭代運算對病態過程進行正則化處理。該方法可以應用在仿真圖像、實際視頻序列和實際衛星圖像的超分辨率重建上。相比雙線性內插等傳統方法，MAP-POCS混合重建方法可以保證銳利的邊緣，準確的紋理和對PSNR的改進。這一方法依賴已知的先驗概率模型，但由于視頻數據的高度動態和多樣性，先驗概率模型與實際差異較大，使得該方法需要不斷迭代以達到復原圖像質量的提升，因而計算量巨大，難以應用在實時視頻圖像處理上。

發明內容

本發明針對上述現有技術的不足，提出了一種低碼率視頻超分辨率重構的編碼裝置和解碼裝置，在按照一般視頻編碼標準進行編碼的同時，對原始圖像首先得到一些針對超分辨率重構的輔助碼流，以對解碼端的超分辨率重構進行指引和對人眼感興趣區域進行更進一步的矯正，以減少視頻解碼端超分辨率重構復雜度，同時提高超分辨率重構的精度。

本發明是通過以下技術進行實現的。

本發明涉及一種低碼率視頻超分辨率重構的編碼裝置，包括：降采樣模塊、標準視頻編碼器、第一標準視頻解碼器、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊、第一超分辨率重構模塊、碼流合成模塊，其中：

降采樣模塊、圖像特征分析模塊、超分辨率重構輔助碼流生成模塊均接收一部分輸入編碼裝置的原始高分辨率圖像序列；

降采樣模塊將原始高分辨率圖像序列進行時間和空間的降采樣，得到低分辨率圖像序列；