[發明專利]一種基于雙路徑深度融合的人臉幻構方法及系統

有效

• 申請號: 202011080370.2
• 申請日: 2020-10-10
• 公開（公告）號: CN112288626B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 王中元;江奎;易鵬;何政;傅佑銘
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/80;G06V10/82;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種基于雙路徑深度融合的人臉幻構方法，其特征在于，包括以下步驟：

步驟1：構建人臉圖像數據集，包括訓練數據集和測試數據集；每個數據集包含若干數量的成對數據，即高分辨率人臉圖像和對應的低分辨率人臉圖像；將訓練數據集中的人臉圖像對進行裁剪，得到N×N大小的圖像塊，作為訓練樣本；其中，N為預設值；

步驟2：分批次將步驟1中人臉圖像塊輸入到卷積神經網絡中，分別輸入到全局記憶分支網絡和局部增強分支網絡進行特征提??；

步驟3：在全局記憶分支網絡中，利用初始化卷積將低分辨率人臉圖像塊從圖像空間映射到特征空間，編碼圖像的全局特征關聯，學習人臉的全局輪廓特征；

步驟4：在局部增強子網絡中，通過M×M的采樣器對輸入的低分辨率人臉圖像塊進行無重疊采樣，得到(N/M)×(N/M)個人臉塊；

步驟5：對步驟4得到的人臉塊進行特征提取，學習低分辨率到高分辨率圖像局部塊之間的映射關系，得到人臉塊的特征表達；

步驟6：將步驟5中得到的人臉塊的特征表達輸入到上采樣層，利用亞像素卷積將這些局部映射編碼重排到全局空間，得到整張人臉的局部特征表達；

步驟7：將步驟3得到的全局人臉輪廓特征和步驟6中得到的人臉的局部特征進行特征的融合，實現人臉特征的全局和局部協同表達，并映射到原始的圖像空間，并輸出對應的殘差人臉圖像；將回歸得到的殘差人臉圖像與低分辨率人臉圖像的插值結果進行相加，輸出得到高質量人臉圖像，作為高質量幻構人臉；

步驟8：通過最小化步驟7中輸出的高質量幻構人臉和原始高分辨率人臉的余弦距離，優化提出的雙路徑深度融合網絡，實現低分辨率人臉的幻構。

2.根據權利要求1所述的基于雙路徑深度融合的人臉幻構方法，其特征在于，步驟3中所述利用初始化卷積將低分辨率人臉從圖像空間映射到特征空間，具體利用下式：

f_ini＝F_ini(I_LR)；

其中，F_ini(·)表示初始化卷積，I_LR表示低分辨率人臉圖像塊輸入樣本，f_ini表示人臉的初始化特征；

所述編碼圖像的全局特征關聯，學習人臉的全局輪廓特征，具體利用算式：

f_I,global＝F_RDRB(f_ini)；

其中，F_RDRB(·)表示殘差密集循環，從初始化特征f_ini中學習全局的人臉輪廓特征f_I,global。

3.根據權利要求1所述的基于雙路徑深度融合的人臉幻構方法，其特征在于，步驟4中得到(N/M)×(N/M)個人臉塊，具體利用算式：

I_(N/M)×(N/M)＝Sample_M×M(I_LR)；

其中，Sample_M×M(·)表示尺寸為M×M的采樣算子，I_LR表示低分辨率人臉圖像塊輸入樣本，I_{n,(N/M)×(N/M)}表示用采樣器采樣得到的(N/M)×(N/M)個人臉塊。

4.根據權利要求1所述的基于雙路徑深度融合的人臉幻構方法，其特征在于，步驟5中所述學習低分辨率到高分辨率圖像局部塊之間的映射關系，具體利用算式：

f_local＝F_MRB(I_(N/M)×(N/M))；

其中，F_MRB(·)表示多路徑殘差模塊，學習低分辨率到高分辨率局部人臉塊的映射關系f_local，強化局部人臉塊的特征表達；I_{n,(N/M)×(N/M)}表示用采樣器采樣得到的(N/M)×(N/M)個人臉塊。