[發明專利]基于壓縮域的視頻超分辨率方法

有效

• 申請號: 200910153544.0
• 申請日: 2009-10-19
• 公開（公告）號: CN101674478A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 張小紅;童若峰
• 申請（專利權）人: 浙江大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/50
• 代理公司: 浙江杭州金通專利事務所有限公司
• 代理人: 沈孝敬

1.一種適用于壓縮域的視頻超分辨率方法，其特征在于包括如下具體步驟：

1)對輸入的壓縮視頻進行解壓縮，得到低分辨率的視頻圖像、量化矩陣、量化 后的變換域系數、運動補償后的預測視頻圖像、以及運動矢量信息；

2)對從自然場景到壓縮視頻的過程進行建模，建立低分辨率圖像和相應高分辨 率圖像之間的關系：高分辨率圖像通過模糊、下采樣、壓縮和解壓縮得到低 分辨率圖像；建立運動補償后的預測視頻圖像與對應高分辨率圖像間的關 系；

3)由上面建立的低分辨率圖像和相應高分辨率圖像之間的關系可以建模條件 概率：在高分辨率圖像已知的情況下，得到低分辨率圖像的概率使用量化噪 聲的分布來建模，所述量化噪聲的分布符合高斯分布；

4)對上面量化噪聲的協方差矩陣進行建模：先求解變換域的協方差矩陣：由量 化矩陣可以得到，再將變換域的協方差矩陣轉換成空間域的協方差矩陣；

5)對在高分辨率圖像已知的情況下，得到預測視頻圖像的概率使用運動估計引 入量化噪聲的分布來建模，所述運動估計引入噪聲的分布符合高斯分布；

6)對上面運動估計引入量化噪聲的協方差矩陣進行建模，先求解變換域的協方 差矩陣：由量化矩陣和變換域系數可以得到，再將變換域的協方差矩陣轉換 成空間域的協方差矩陣；

7)建模高分辨率圖像的先驗概率：對圖像的梯度分布用廣義拉普拉斯分布來擬 合，使超分辨率圖像的梯度分布盡可能接近解壓縮后的低分辨率圖像的梯度 分布，而且超分辨率圖像應該是平滑的，沒有“塊效應”；

8)使用貝葉斯模型MAP框架估計暫時的單幅超分辨率圖像；

9)使用梯度下降來求解得到暫時的單幅超分辨率圖像，超分辨率圖像的初始值 為雙線性插值放大后的圖像；

10)使用魯棒性強的光流法來估計各單幅超分辨率圖像和待處理單幅超分辨率 圖像之間的運動位移，作為各高分辨率圖像和目標高分辨率圖像之間的位移 初始值；

11)建立當前窗口內的各低分辨率圖像與目標高分辨率幀之間的關系：目標高分 辨率圖像通過運動位移/模糊/下采樣/壓縮/解壓縮來得到當前窗口內的各 低分辨率圖像；

12)由當前窗口內的多幀暫時的單幅超分辨率圖像，結合7)中的先驗概率，使 用IRLS(迭代重加權最小二乘法)來構建目標函數，從而削弱離群點和噪聲 的影響；

13)使用循環坐標下降來得到最終的超分辨率圖像：先假設超分辨率圖像已知， 使用梯度下降法分別更新各運動位移；然后在求得的位移基礎上，用梯度下 降法重新求超分辨率圖像，如此循環迭代，直至收斂；

本方法只超分辨率亮度分量，色度和色差分量只是雙線性插值所得。