[發明專利]基于二維多集偏最小二乘的人臉圖像超分辨率重建方法

有效

• 申請號: 202010069628.2
• 申請日: 2020-01-21
• 公開（公告）號: CN111292237B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 袁運浩;李進;李云;強繼朋
• 申請（專利權）人: 揚州大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 董旭東;陳棟智

1.基于二維多集偏最小二乘的人臉圖像超分辨率重建方法，其特征在于，包括以下步驟：

步驟1)在訓練階段利用訓練集學習不同分辨率視圖之間的潛在相關關系，將訓練集中的不同視圖的高頻圖像和其相對應的低分辨率圖像分成重疊的圖像塊，利用二維多集偏最小二乘法對二維圖像塊進行特征提取，計算二維多集偏最小二乘投影矩陣，將二維圖像塊投影到二維多集偏最小二乘子空間；

步驟1)中所述計算二維多集偏最小二乘投影矩陣包含以下步驟：

(1)對于m個視圖二維中心化隨機變量其中p_i和q_i分別表示xⁱ的兩個維度，二維多集偏最小二乘法目的為尋找兩組線性變換和其中d₁和d₂分別為左投影向量和右投影向量的維度，二維多集偏最小二乘的最優化問題表示如下：

s.t.(Lⁱ)^TLⁱ＝(Rⁱ)^TRⁱ＝I,i＝1,…,m,

其中Cov(·)表示矩陣的協方差；

(2)對于該最優化問題，利用遞歸方法求解，令假設前k-1個方向和已經得到，其中t≤d，對于第k個左投影方向通過求解如下最優化問題得到：

固定左投影方向，計算第k個右投影方向

循環迭代計算第k個左、右投影方向直至收斂，其中：

其可以利用拉格朗日乘子法轉換成如下多元特征值問題進行求解：

P_lS_ll＝Λ_ll,

P_rS_rr＝Λ_rr,

其中S_l∈R^P×P和S_r∈R^Q×Q為分塊矩陣，其第(i,j)塊為和并且

和為多元特征值，和為單位矩陣；

步驟1)中所述訓練階段包括以下步驟：

(1)對于訓練集中的原始高低分辨率人臉圖像集X⁰和m個不同低分辨率人臉圖像集每幅低分辨率圖像均通過插值函數將其放大到高分辨率圖像大小，n為每種視圖中的人臉圖像數量，通過Yⁱ＝X⁰-Xⁱ,i＝1,2,…,m提取人臉高頻圖像，再將所有高頻圖像以及低分辨率圖像分成重疊且邊長為s×s的圖像塊，在第j個位置上的所有高頻圖像塊的集合和所有低分辨率圖像塊的集合分別為和其中和分別為第i個分辨率視圖中第t個高頻人臉的位于第j個位置的高頻圖像塊和低分辨率圖像塊；

(2)通過和對每個圖像塊去均值，其中和分別表示第i個分辨率視圖中位于j位置的所有高頻塊以及所有低分辨率塊的均值；

(3)利用二維多集偏最小二乘法獲得左投影矩陣和右投影矩陣將高頻二維圖像塊和低分辨率二維圖像塊投影到潛在子空間：

步驟2)在測試階段將輸入的多種低分辨率圖像分成重疊的圖像塊，利用訓練階段得到的相應低分辨率的二維多集偏最小二乘投影矩陣將輸入的二維低分辨率圖像塊投影到二維多集偏最小二乘法子空間，利用鄰域重建策略以及圖像塊合并對輸入的低分辨率人臉圖像進行高頻人臉圖像重建；

步驟2)中所述的測試階段包括以下步驟：

(1)對于輸入的第i種分辨率視圖的低分辨率人臉，利用插值函數將其上采樣到與高分辨率視圖相同大小，lⁱ∈R^p×q，使用與訓練階段相同的分塊策略并進行中心化：其潛在相干特征由得出；

(2)對于使用鄰域重建策略重建出高頻特征：從中搜索k個最近鄰得到最小化如下重建誤差以得到權重系數

定義權重系數為將其應用到中相應的高頻塊相干特征以計算輸入低分辨率塊重建出的高頻特征利用逆運算將高頻特征恢復為高頻圖像塊:

其中表示摩爾-彭若斯廣義逆，將所有重建出的高頻圖像塊合并為完整的高頻圖像其中重疊的部分求平均計算；

步驟3)最終輸出的超分辨率重建圖像為重建出的高頻圖像加上輸入的低分辨率人臉圖像。

2.根據權利要求1所述的基于二維多集偏最小二乘的人臉圖像超分辨率重建方法，其特征在于，步驟3)中所述最終輸出的超分辨率重建圖像為：