[發明專利]一種位置塊非線性映射的人臉圖像超分辨率重建方法

有效

• 申請號: 201110252310.9
• 申請日: 2011-08-30
• 公開（公告）號: CN102306374A
• 公開（公告）日: 2012-01-04
• 發明（設計）人: 黃華;曾嘯
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 陸萬壽

技術領域

本發明屬于圖像處理技術，具體涉及一種位置塊非線性映射的人臉圖像超分辨率重建方法。

背景技術

圖像超分辨率(Super?Resolution，SR)是指從一幅或一系列低分辨率圖像(Low?Resolution，LR)中得到一幅高分辨率(High?Resolution，HR)圖像的過程。近年來，視頻監控已經在銀行、機場等重要場所得到了廣泛的應用。但在許多情況下，監控設備得到的人臉圖像分辨率太低，以致于無法直接進行識別，因此人臉圖像超分辨率問題的研究具有現實的意義。

一般自然圖像的超分辨率算法，可以給人臉圖像超分辨率算法很多啟示。但人臉圖像是一類特殊的圖像，有其特定的全局結構。因此將不考率全局結構信息的一般自然圖像超分辨率算法推廣到人臉圖像超分辨率問題有一定的局限性，重建的效果還有進一步提高的空間。

Liu等首次提出了人臉超分辨率的兩步法，即將人臉超分辨率問題分解為人臉全局信息與局部細節信息的重建兩部分，將全局信息與局部細節相加得到最終的高分辨率人臉圖像。兩步法是一個很好的框架，眾多人臉超分辨率的方法都基于此框架：對人臉全局信息的表示，主要思路是用人臉圖像的特定約束來描述全局特征，實現上大多都通過建立高低分辨率圖像全局特征之間的關系來重建全局信息；對于細節紋理特征的表示，主要思路是建立樣本的圖像塊與訓練集圖像塊之間的鄰域關系，并采用各種局部模型來描述紋理特征。

兩步法通過建立高低分辨率人臉全局特征關系和細節補償相結合，重建恢復效果有一定的提高，但建立高低分辨率人臉全局特征之間的關系時常常在重建結果中引入偽影，降低了重建的性能，與此同時兩步法引入了額外的計算量，重建效率上也有一定下降。基于此，Ma等提出了一種基于位置塊重構的人臉超分辨率算法，用圖像塊的位置信息表征人臉的全局結構，用圖像塊的內容表征細節信息。然而Ma在恢復細節信息時采用的最小二乘法只考慮了高低分辨率位置塊間的線性相關分量，而忽略了非線性相關分量，為了提高超分辨率重建的性能，需要尋找更好的方法來解決此處存在的問題。

發明內容

本發明的目的在于提供一種位置塊非線性映射的人臉圖像超分辨率重建方法，以解決現有技術中存在的上述問題。

為了達到上述目的，本發明采取的技術方案是：

1)首先，將高低分辨率人臉圖像分割成高低分辨率位置塊圖像；

2)其次，利用徑向基函數超分辨率重建對應位置塊的高分辨率圖像。在訓練階段，利用徑向基函數由訓練圖像為每一個位置的高低分辨率位置塊訓練一個非線性映射，用于表示每一個位置的高低分辨率位置塊之間的非線性關系，在測試階段，利用每一個位置訓練得到的非線性關系從測試低分辨率位置塊估計出對應的高分辨率位置塊；

3)最后，按照各個位置塊的位置信息將估計得到的高分辨率位置塊圖像拼接成對應的高分辨率重建圖像。

所述步驟1)包含以下步驟：

1)將低分辨率人臉圖像采用雙線性插值，使得插值后的低分辨率人臉圖像分辨率大小與高分辨率圖像分辨率大小一致。

2)采用p*p大小的窗口分別對高低分辨率圖像進行分塊，采用有重疊的分塊方式，上下左右相鄰位置塊之間有重疊的部分，相鄰塊之間重疊像素為n。其中p為一個整數，取值范圍為2～16，n為一個整數且0≤n≤p/2。將高低分辨率圖像中相同平面位置的圖像塊稱為對應的相同位置的高低分辨率位置塊。

所述步驟2)利用徑向基函數超分辨率重建對應位置塊的高分辨率圖像，其具體過程如下：

分別用和表示第q個位置的高低分辨率訓練位置塊，和分別表示第q個位置第一個訓練樣本的高低分辨率位置塊圖像，其中和均為位置塊圖像灰度值展開成的列向量，上標H和L分別表示高分辨率和低分辨率，第一個下標q表示按照前述的位置塊分割方法分割出的第q個位置，第二個下標1～m表示第1～m個訓練樣本，用和分別表示位于位置q的雙線性插值后的測試低分辨率位置塊和待求的高分辨率位置塊，則利用徑向基函數求得計算式為：

其中T表示矩陣的轉置運算，為采用的多維二次曲面徑向基函數，具體的計算表達式為：

W_q為訓練階段得到的權值矩陣，計算表達式為：