[發明專利]一種基于正交偏最小二乘的人臉圖像超分辨率重建方法

有效

• 申請號: 202010069636.7
• 申請日: 2020-01-21
• 公開（公告）號: CN111292238B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 袁運浩;李進;李云;強繼朋
• 申請（專利權）人: 揚州大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/77
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 董旭東;陳棟智

1.一種基于正交偏最小二乘的人臉圖像超分辨率重建方法，其特征在于，包括以下步驟：

步驟1)對訓練集中的高分辨率和低分辨率圖像進行特征提取，使用PCA對數據降維，利用OPLS法進行特征提取，計算投影向量，并使圖像矩陣投影到子空間，使得高分辨率和低分辨率圖像矩陣間的協方差最大，將輸入的低分辨率人臉圖像也投影到相同的子空間中，在子空間中利用領域重建構造輸入人臉對應的高分辨率全局人臉；

步驟1)中所述高分辨率全局人臉重建包括以下步驟：

(1)對于訓練集中的高分辨率圖像集X＝{x₁,x₂,…,x_m}，低分辨率圖像集Y＝{y₁,y₂,…,y_m}，分別去除其均值μ_x、μ_y，使用PCA分別對高分辨率圖像集和低分辨率圖像集進行特征提取：

其中T_x和T_y分別為高分辨率和低分辨率圖像的PCA變換矩陣，1表示元素均為1的列向量；

(2)利用主成分特征和的均值和中心化和后，利用OPLS對和進行特征提取，通過求解如下廣義特征值問題：

其中E[·]代表數學期望，使得滿足如下條件：

從W_x和W_y中選擇特征值最大的d對特征向量組成投影矩陣V_x、V_y，將主成分投影到子空間得到和

(3)對于測試的低分辨率圖像I_t，同樣求得其主成分使用投影向量V_y將其投影到相同子空間：使用鄰域重建方法在子空間中尋找k個最近鄰，計算相應的權重值

其中，K_ij＝(C_t-c_yi)^T(C_t-C_yj)，接下來使用權重值構造出高分辨率全局臉在子空間中的特征：

將其從子空間特征轉換回像素域以得到高分辨率全局臉圖像I_g：

步驟2)計算得到高分辨率和低分辨率人臉殘差圖像集，將殘差圖像分成若干邊長相等、互相重疊的方塊，利用OPLS將其投影到子空間，在子空間中利用鄰域重建方法構造高分辨率人臉殘差塊，將殘差塊合成得到高分辨率人臉殘余補償；

步驟2)中所述殘余補償包括以下步驟：

(1)對訓練集中的所有低分辨率圖像使用上述的步驟求其高分辨率全局臉圖像集Y_g，得到高分辨率圖像集的殘差集R^x＝X-Y_g，低分辨率圖像集的殘差集R^y＝Y-Y′_g以及輸入低分辨率測試圖像的殘差R^t＝I_t-I′_g，其中Y′_g和I′_g分別表示將Y_g和I_g進行下采樣后的結果；

(2)將所有殘差圖像分成若干大小相等、互相重疊的殘差塊N代表分塊數量，表示位于i位置的所有高分辨率訓練圖像殘差塊的集合，表示位于i位置的所有低分辨率訓練圖像的殘差塊的集合；將殘差塊通過PCA進行降維處理，對于測試圖像的每一殘差塊，其對應的訓練集由以及中位于該位置的塊以及四周的八個位置的塊共同組成，在訓練殘差塊中尋找k’個最近鄰以構造該位置的權值集

將計算得到的殘差塊合并得到R^h，重疊的區域取平均值；將R^h轉換回像素域得到高分辨率殘差人臉I_r；

步驟3)最終重建完成的高分辨率人臉圖像為高分辨率全局人臉加上高分辨率人臉殘余補償。

2.根據權利要求1所述的基于一種正交偏最小二乘的人臉圖像超分辨率重建方法，其特征在于，步驟3)中所述最終重建完成的高分辨率人臉圖像為I_h＝I_g+I_r。