[發明專利]基于圖像塊自適應配準的視頻超分辨重建方法

在審

• 申請號: 201410280297.1
• 申請日: 2014-06-20
• 公開（公告）號: CN104063849A
• 公開（公告）日: 2014-09-24
• 發明（設計）人: 盧濤;張彥鐸;李曉林;盧騰;萬永靜;余軍;魏運運;周敏
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅;唐萬榮

技術領域

本發明涉及圖像處理，涉及到基于圖像塊自適應配準的視頻超分辨重建方法。具體應用在機器人視覺增強與監控視頻增強領域。

背景技術

監控攝像機廣泛的應用在道路、社區、學校等公眾場合。然而，目前大部分監控視頻的圖像分辨率低以及攝像機離感興趣的景物距離很遠，使得視頻圖像分辨率低，無法得到滿意的圖像細節信息。機器人自帶攝像頭是其視覺信息的來源，但是目標距離遠，分辨率常常較低，無法準確識別目標。因此，如何提高低分辨率視頻圖像的質量，有效增強視頻中低質量的圖像分辨率，是當前亟待解決的問題。本發明提出了一種圖像塊自適應配準的視頻超分辨率重建算法，使用輸入的低分辨率視頻多幀圖像生成高分辨率圖像的一種算法。

自從1964年起，Harris等人在文獻1(Harris J L.Diffraction and resolving power.Journal of the Opt.Soc.of America,1964,54(7):931-936.)提出了超分辨率數學理論基礎，并重建出高分辨率圖像，奠定了超分辨率技術的理論基礎。1984年，Huang和Tasi在文獻2(Tsai R.Y.,Huang,T.S.Multiframe Image Restoration and Registration[C].In:In Huang,T.S.Advances in Computer Vision and Image Processing,JAI Press,1984:317-339.)中利用離散和連續傅立葉變換之間的平移以及混疊等性質建立了由多幅低分辨率圖像得到一副高分辨率圖像的方程組，明確的提出了圖像超分辨率的概念。這時的超分辨率是在頻率域求解的，這個解就是原始高分辨率圖像的頻域信號，它經過傅立葉逆變換就可以得到一副高分辨率圖像。頻域超分辨方法得到了廣泛的發展，如將小波變換的思想引入圖像超分辨率的研究。上述的頻域超分辨方法都是基于低分辨率圖像之間僅僅只有全局平移運動的基礎上，存在很大的局限性。

為了適應一般的運動以及退化類別，基于空間域的圖像超分辨率方法得到了大力的發展。空間域方法對圖像間的復雜運動模型與對應的插值算法和濾波重采樣以及解的優化收斂迭代放在一起進行處理，在插值算法方面，提出了一種專用于立體相機獲取超分辨率圖像的插值模型。在濾波重采樣和解的優化收斂迭代方面，發展起了目前應用比較廣泛的在文獻3(PattiA J,Sezan M I,Tekalp A.M.Super-resolution Video Reconstruction With Arbitrary Sampling Lattices and Nonzero Aperture Time[J].IEEE Trans IP,1997,6(8):1064-1076.)中凸集投影算法以及文獻4(R.Sehultz，R.Stevenson.ExtractionOfHighResolutionFrames FromVideo.Sequences[J].IEEET.ransactionsonImageProcessi ng.1996,5(6):996-1011.)中最大后驗概率算法(MAP)。以上大部分都是面向圖像超分辯率技術，但因為目前常用的監控視頻序列圖像之間存在大量的局部運動情況，在實際應用中甚至出現了無法配準的情況。

發明內容

本發明目的是提供一種基于圖像塊自適應配準的視頻超分辨率重建方法，解決現有同類算法表示輸入低分辨率視頻圖像塊配準不準確的問題，提高最終合成高分辨率視頻圖像的質量。

本發明提供了一種基于圖像塊自適應配準的視頻超分辨重建方法，包括如下步驟：

步驟1：輸入低分辨率視頻圖像，獲得多幀低分辯率圖像，將這些圖像劃分為當前幀和多個參考幀，并用幀差法得到運動邊緣提取信息圖；

步驟2：用自適應圖像塊的配準準則對運動邊緣提取信息圖進行圖像塊的大小劃分，以確定原始圖像塊大小劃分模型，根據該大小劃分模型對所述運動邊緣提取信息圖進行劃分和配準得到塊劃分示意圖；

步驟3：對塊劃分示意圖進行降質模型分析，從而得出降質函數，并推導出成像模糊降質值、加性干擾降質值以及圖像欠采樣值；

步驟4：建立高分辨率圖像與現有的低分辨率圖像之間的數學表達關系，并根據步驟3推導出的值以及配準過程中的配準參數得出高分辨率率圖像的最佳估計值，最后根據該最佳估算值生成高分辨率視頻圖像。