[發明專利]基于壓縮域的視頻超分辨率方法

有效

• 申請號: 200910153544.0
• 申請日: 2009-10-19
• 公開（公告）號: CN101674478A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 張小紅;童若峰
• 申請（專利權）人: 浙江大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 浙江杭州金通專利事務所有限公司
• 代理人: 沈孝敬

技術領域：

本發明涉及一種適用壓縮域的視頻超分辨率方法，得到的超分辨率圖像保持 邊界清晰，同時抑制編碼噪聲和“振鈴”效應。這種方法充分利用了壓縮碼流中 的信息，且同時解決校準、插值、復原和后處理等問題。可以應用于各種MPEG4 格式的壓縮視頻。

背景技術：

由于成像設備自身限制、數據壓縮算法和傳輸錯誤等方面的原因，實際應用 中能夠得到的視頻圖像分辨率常常滿足不了高清晰度的要求。為了解決這一問 題，人們提出了序列圖像的超分辨率算法，從多幅質量較差、分辨率較低的圖像 重構出單幅質量更好、分辨率更高的圖像。

目前國內外解視頻超分辨率的方法主要可以分為空間域和變換域兩大類。 空間域方法是先將壓縮視頻解壓縮，再使用空間域的傳統超分辨方法。其缺點是 量化誤差信息被丟失，效果不好，尤其壓縮比較高時。基于壓縮域重建的方法主 要是對成像模型和空域噪聲/壓縮噪聲進行建模，需要完整地考慮成像過程，壓 縮過程，運動估計以及塊效應、振鈴效應等多個方面的影響。當活動窗口內幀間 的運動較簡單時，尤其是全局運動，現有的一些超分辨率方法效果挺好的。但是， 當活動窗口內幀間的運動較復雜時，這些方法會引入新的噪聲，尤其是運動物體 部分，且“振鈴效應”明顯。分析其原因，是由于活動窗口內的所有幀所有像素 點都參加了超分辨率運算。但事實上，有些窗口內的低分辨率圖像像素點并不能 通過目標幀的運動補償被觀察或預測到。

發明內容：

本發明要解決的是現有技術中存在的上述問題，旨在提供種新穎的基于壓縮 域的視頻超分辨率方法。

解決上述問題采用的技術方案是：基于壓縮域的視頻超分辨率方法，其特征 在于包括如下具體步驟：

1)對輸入的壓縮視頻進行解壓縮，得到低分辨率的視頻圖像、量化矩陣、量化 后的變換域系數、運動補償后的預測視頻圖像、以及運動矢量信息；

2)對從自然場景到壓縮視頻的過程進行建模，建立低分辨率圖像和相應高分辨 率圖像之間的關系：高分辨率圖像通過模糊、下采樣、壓縮和解壓縮得到低 分辨率圖像；建立運動補償后的預測視頻圖像與對應高分辨率圖像間的關 系；

3)由上面建立的低分辨率圖像和相應高分辨率圖像之間的關系可以建模條件 概率：在高分辨率圖像已知的情況下，得到低分辨率圖像的概率使用量化噪 聲的分布來建模，所述化噪聲的分布符合高斯分布；

4)對上面量化噪聲的協方差矩陣進行建模：先求解變換域的協方差矩陣：由量 化矩陣可以得到，再將變換域的協方差矩陣轉換成空間域的協方差矩陣；

5)對在高分辨率圖像已知的情況下，得到預測視頻圖像的概率使用運動估計引 入量化噪聲的分布來建模，所述運動估計引入噪聲的分布符合高斯分布。

6)對上面運動估計引入量化噪聲的協方差矩陣進行建模，先求解變換域的協方 差矩陣：由量化矩陣和變換域系數可以得到，再將變換域的協方差矩陣轉換 成空間域的協方差矩陣；

7)建模高分辨率圖像的先驗概率：對圖像的梯度分布用廣義拉普拉斯分布來擬 合，使超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度 分布，而且超分辨率圖像應該是平滑的，沒有“塊效應”；

8)使用貝葉斯模型MAP框架估計暫時的單幅超分辨率圖像；

9)使用梯度下降來求解得到暫時的單幅超分辨率圖像，超分辨率圖像的初始值 為雙線性插值放大后的圖像；

10)使用魯棒性強的光流法來估計各單幅超分辨率圖像和待處理單幅超分辨率 圖像之間的運動位移，作為各高分辨率圖像和目標高分辨率圖像之間的位移 初始值；

11)建立當前窗口內的各低分辨率圖像與目標高分辨率幀之間的關系：目標高分 辨率圖像通過運動位移/模糊/下采樣/壓縮/解壓縮來得到當前窗口內的各 低分辨率圖像；

12)由當前窗口內的多幀暫時的單幅超分辨率圖像，結合7)中的先驗概率，使 用IRLS(迭代重加權最小二乘法)來構建目標函數，從而削弱離群點和噪聲 的影響；

13)使用循環坐標下降來得到最終的超分辨率圖像：先假設超分辨率圖像已知， 使用梯度下降法分別更新各運動位移；然后在求得的位移基礎上，用梯度下 降法重新求超分辨率圖像，如此循環迭代，直至收斂；

本方法只超分辨率亮度分量，色度和色差分量只是雙線性插值所得。