[發明專利]一種視頻的超分辨率方法及裝置

有效

• 申請號: 201210177604.4
• 申請日: 2012-05-31
• 公開（公告）號: CN103458154A
• 公開（公告）日: 2013-12-18
• 發明（設計）人: 白蔚;李馬丁;劉家瑛;郭宗明
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;G06T5/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

技術領域

本發明涉及視頻超分辨率重建領域，尤其涉及一種視頻的超分辨率方法及裝置。

背景技術

超分辨率技術，是指克服成像設備或技術的限制，在低分辨率圖像或視頻的基礎上生成更高分辨率的圖像或視頻。隨著圖像視頻處理技術的日益成熟，用戶對視頻觀看體驗的要求也越來越高，用戶不僅需要更加逼真的視覺效果，對畫面細節信息的需求也逐漸增多，比如說，在視頻監控領域，高分辨率的圖像更有利于識別出感興趣的目標。

目前，業界對超分辨率的方法作了廣泛的研究，提出了各種重建方法，比如基于插值的方法，基于學習的方法，基于多幀融合的方法等等，特別是近年來對圖像自相似性的探索引起了圖像處理領域技術人員的關注，例如，Glasner等人提出了單幀圖像的超分辨率方法，通過統計發現自然圖像有自相似的特性，即單幀圖像中的每一個小的圖像塊幾乎總能在該圖或其下采后的圖像中找到一個或多個與之相似的塊，通過這些相似的塊就可以提供更多的信息為當前圖像塊的超分辨率作為參考。此方法雖解決了圖像來源受到環境限制的問題，但是該方法在搜索相似圖像塊的時候僅考慮了像素值的整體差異，這樣會導致圖像出現鋸齒等問題。

對上述單幀圖像的超分辨率方法分析可知，在搜索相似圖像塊的時候僅考慮了像素值的整體差異，從而會導致圖像出現鋸齒等問題。另外，上述方法都不能很靈活的嵌入到多媒體播放設備中，這就大大降低了圖像的視覺效果。

發明內容

本發明實施例提供了一種視頻的超分辨率方法及裝置，用以解決現有的超分辨率方法導致圖像出現鋸齒，降低視覺效果的問題。

基于上述問題，本發明實施例提供的一種視頻的超分辨率方法，包括：對輸入的視頻序列進行下采樣；對輸入的視頻序列中的每個第一視頻幀，以選取的每個像素點為中心，將該像素點及其周圍設定數量的像素點確定為源圖像塊；分別在該源圖像塊所屬第一視頻幀、所屬第一視頻幀的相鄰視頻幀、所屬第一視頻幀在下采樣后的視頻序列中對應的視頻幀以及所述對應的視頻幀的相鄰視頻幀中，以選取的每個像素點為中心，將該像素點及其周圍設定數量的像素點確定為待比較圖像塊；針對每個源圖像塊，利用該源圖像塊與各待比較圖像塊之間的像素值項和結構項，分別計算出該源圖像塊與各待比較圖像塊之間的相似距離，并將相似距離最小的待比較圖像塊確定為該源圖像塊的相似圖像塊；根據每個第一視頻幀中所有源圖像塊、對應的各相似圖像塊以及對應的相似距離，計算得到包含第二視頻幀的目標視頻序列，所述第二視頻幀分辨率高于所述該第一視頻幀。

本發明實施例提供的一種視頻的超分辨率裝置，包括：下采樣模塊，用于對輸入的視頻序列進行下采樣；第一確定模塊，用于對輸入的視頻序列中的每個第一視頻幀，以選取的每個像素點為中心，將該像素點及其周圍設定數量的像素點確定為源圖像塊；第二確定模塊，用于分別在所述第一確定模塊確定的該源圖像塊所屬第一視頻幀、所屬第一視頻幀的相鄰視頻幀、所屬第一視頻幀在所述下采樣模塊下采樣后的視頻序列中對應的視頻幀以及所述對應的視頻幀的相鄰視頻幀中，以選取的每個像素點為中心，將該像素點及其周圍設定數量的像素點確定為待比較圖像塊；第一計算模塊，用于針對所述第一確定模塊確定的每個源圖像塊，利用該源圖像塊與所述第二確定模塊確定的各待比較圖像塊之間的像素值項和結構項，分別計算出該源圖像塊與各待比較圖像塊之間的相似距離；第三確定模塊，用于將所述第一計算模塊計算出的相似距離最小的待比較圖像塊確定為該源圖像塊的相似圖像塊；第二計算模塊，用于根據每個第一視頻幀中所有源圖像塊、對應的各相似圖像塊以及對應的相似距離，計算得到包含第二視頻幀的目標視頻序列，所述第二視頻幀分辨率高于所述該第一視頻幀。

本發明實施例的有益效果包括：本發明實施例提供的視頻的超分辨率方法及裝置，首先對輸入視頻序列先進行下采樣，其次利用輸入視頻序列中每個第一視頻幀確定出的源圖像塊與在源圖像塊所屬第一視頻幀、所屬第一視頻幀的相鄰視頻幀、所屬第一視頻幀在下采樣后的視頻序列中對應的視頻幀以及對應的視頻幀的相鄰視頻幀中確定出的各待比較圖像塊之間的像素值項和結構項計算出源圖像塊與各待比較圖像塊之間的相似距離，相似距離最小的待比較圖像塊就是源圖像塊的相似圖像塊，最后再分別對每個第一視頻幀中所有源圖像塊對應的各相似圖像塊以及對應的相似距離進行計算，得到包含第二視頻幀的目標視頻序列。可見，本發明的超分辨率方法，在搜索源圖像塊的相似圖像塊時，除考慮源圖像塊和待比較塊的像素值項外，還考慮了源圖像塊和待比較塊的結構項，即此方法結合了圖像塊的結構信息，避免出現鋸齒問題，通過此方法可以得到分辨率較高的視頻幀，提高了視頻的視覺效果。

附圖說明