[發明專利]一種縮放尺度補償的非局部性圖像超分辨率方法及系統

有效

• 申請號: 201210592949.6
• 申請日: 2012-12-31
• 公開（公告）號: CN103914807A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 李翹楚;劉家瑛;楊撒博雅;郭宗明
• 申請（專利權）人: 北京大學;北大方正集團有限公司;北京北大方正電子有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 北京天悅專利代理事務所(普通合伙) 11311
• 代理人: 田明;文永明

技術領域

本發明屬于數字圖像超分辨率技術領域，具體涉及一種縮放尺度補償的非局部性圖像超分辨率方法及系統。

背景技術

超分辨率圖像處理技術是利用多幀關于同一場景的有相互位移的低分辨率降質圖像來重建高分辨率高質量圖像的技術。基于多幀圖像的超分辨率重建的目標是把一系列的低分辨率圖像融合成一幅高分辨率圖像。其有效性基于假設——多個相鄰幀的低分辨率圖像中包含相互補充的信息。利用這些信息，可以生成一副較高分辨率的圖像。這項技術廣泛應用在圖像增強，監視器等領域中。

多幀融合技術的關鍵在于從鄰域內得到的互補信息的精確度與質量。傳統的多幀融合算法往往追求更精確的運動估計以提高獲取信息的位置精確度。但存在一些不可避免區域的無法進行精確估計（如因遮擋而使得部分區域在某一幀中不存在），這將會大大損害復原圖像的質量。為了避免運動估計，Potter等人把非局部方法從一種去噪算法擴展成不需要運動估計的超分辨率方法。該算法通過度量塊之間的相似度，加權計算出中心像素的值。Potter等人提出的非局部超分辨率方法僅僅是一個基礎框架，可以在這個框架上進行多種多樣的擴展或修改以達到提升性能的目的。

其中一類提升是自適應的參數選擇，即通過研究塊的大小以及搜索窗口的大小與非局部方法性能間的關系，自適應地選擇這些參數。Zeng等人將圖像分成多個區域在不同區域應用不同的參數進行非局部超分辨率以達到比統一參數更好的效果。Cheng等人提出的對搜索窗口和塊大小進行自適應的選取。還有學者對非局部超分辨率算法中塊匹配進行了修改提高。如Gao等人提出了用Zernike?Moment替代簡單的塊匹配進而提升匹配塊的質量。Zhuo等人則采用了具有旋轉不變性的算子來替代樸素塊匹配。而Zheng等人則將非局部的思想擴展到頻域上進行使用，提出了小波非局部超分辨率算法Wavelet?Non-Local?Means（WNLM）。

以上的各個方法都或多或少的提升了非局部超分辨率算法的性能。但是他們都使得非局部超分辨率算法對旋轉、對稱、平移等變換更加魯棒。迄今為止，仍沒有人考慮到基于尺度縮放魯棒性的改進方法。

發明內容

針對現有技術中存在的缺陷，本發明所要解決的技術問題是提供一種效果好的縮放尺度補償的非局部性圖像超分辨率方法及系統。

為解決上述技術問題，本發明采用的技術方案如下：

一種縮放尺度補償的非局部性圖像超分辨率方法，包括以下步驟：

將視頻序列中的相鄰數幀上插到設定的高分辨率圖像；

計算相鄰幀間的尺度差異；

對于待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據相鄰幀中與像素點P相對應像素點在同一尺度上的相似度，計算得到像素點P超分辨率后的像素值。

一種縮放尺度補償的非局部性圖像超分辨率系統，包括用于將視頻序列中的相鄰數幀上插到設定的高分辨率圖像的上插裝置；

用于計算相鄰幀間的尺度差異的第一計算裝置；

用于對待超分辨率的原始圖像中除邊緣像素點外的每一個像素點P，根據所述相鄰幀中與像素點P相對應像素點在同一尺度上的相似度，計算得到像素點P超分辨率后像素值的第二計算裝置。

本發明所述方法及系統，考慮到現有非局部超分辨率方法中相關幀間因縮放而無法進行簡單的信息匹配，在計算相鄰幀尺度差異時，采用SIFT算子來提取特征點并加以利用以提取尺度信息，在度量塊相似度時，根據尺度信息先對塊進行下采上插的插值調整，從而進一步提升了相似度計算的準確性，更有效地捕捉到各圖像間更多的互補信息，進一步提升了非局部超分辨率重建的性能。

附圖說明

圖1是具體實施方式中縮放尺度補償的非局部性圖像超分辨率系統的結構框圖；

圖2是具體實施方式中縮放尺度補償的非局部性圖像超分辨率方法的流程圖；

圖3是具體實施方式中像素點P超分辨率后像素值計算方法的流程圖；

圖4是具體實施方式中原始塊與參考塊選擇示意圖。

具體實施方式

本發明總結出現有非局部超分辨率方法不能找到足夠多相似塊的其中一個重要原因是由于鏡頭縮放后圖像尺度發生了變化而導致相似信息不能很好地匹配，因此，本發明提出了一種計算圖像尺度差異的方法及系統，并提出一種新的可以補償尺度差異的度量方式，最終提升基于多幀融合的超分辨率方法的性能。下面以視頻序列中某一幀進行3倍放大的超分辨率重建問題為例，結合附圖對本發明的具體實施方式進行詳細描述。