[發(fā)明專利]基于空間特征變換和跨尺度特征集成的人臉超分辨方法

在審

• 申請?zhí)枺?/td>: 202011124368.0
• 申請日: 2020-10-20
• 公開（公告）號: CN112270644A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 張凱兵;莊誠;李敏奇;景軍鋒;盧健;劉薇;陳小改
• 申請（專利權(quán)）人: 西安工程大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/40;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 弓長

本發(fā)明公開了一種基于空間特征變換和跨尺度特征集成的人臉超分辨方法，具體按照如下步驟實施：預(yù)處理人臉圖像，得到訓(xùn)練集和測試集，將預(yù)處理后的人臉圖像進行處理生成語義分割概率圖；構(gòu)建用于訓(xùn)練的生成對抗網(wǎng)絡(luò)模型；將訓(xùn)練集內(nèi)的人臉圖像依次輸入構(gòu)建的生成對抗網(wǎng)絡(luò)模型中，設(shè)置參數(shù)，訓(xùn)練并達到收斂，將測試集中的人臉圖像輸入訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型中，得到超分辨重建后的高分辨圖像。本發(fā)明的基于空間特征變換和跨尺度特征集成的人臉超分辨方法，解決了現(xiàn)有技術(shù)中存在的現(xiàn)有方法忽略了重建的人臉圖像中紋理細節(jié)的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于人臉圖像識別技術(shù)領(lǐng)域，涉及一種基于空間特征變換和跨尺度特征集成的人臉超分辨方法。

背景技術(shù)

現(xiàn)有與人臉相關(guān)的任務(wù),如人臉識別、人臉對齊、表情識別和三維人臉重建等都是基于清晰的高分辨率人臉數(shù)據(jù)集實現(xiàn)的,在面對低分辨人臉圖像時,效果出現(xiàn)明顯下降.因此,人臉超分辨技術(shù)在計算機視覺和生物識別領(lǐng)域顯得尤其重要。此外，受傳統(tǒng)數(shù)字成像設(shè)備的固有限制，所獲得的人臉圖像往往經(jīng)過了光學(xué)模糊、欠采樣等一系列退化過程，最終難以獲得視覺感官上較清晰的圖像。圖像超分辨技術(shù)作為一種有效的圖像恢復(fù)手段，能有效克服因為成像設(shè)備物理分辨率限制和光學(xué)模糊等導(dǎo)致圖像分辨率低的問題。

人臉超分辨率方法大致分為兩類:基于經(jīng)典機器學(xué)習(xí)算法的傳統(tǒng)方法和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法。其中，基于深度學(xué)習(xí)的超分辨方法因其優(yōu)越的重建性能而獲得人們廣泛關(guān)注。然而，現(xiàn)有的人臉圖像超分辨率算法大多數(shù)只關(guān)注16×16像素的“微小臉”超分辨重建，即也稱為“人臉幻象”，而忽略了實際應(yīng)用中常見的“較小臉”如64×64像素的人臉圖像重建；也正因如此，這些方法所獲得的結(jié)果圖像往往只能滿足人臉檢測任務(wù)，而并不能使其與真實人臉保持身份一致性。另外，這些方法往往追求很高的峰值信噪比和結(jié)構(gòu)相似性，而忽略了重建的人臉圖像中紋理細節(jié)是否滿足人眼對視覺感知質(zhì)量的要求。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于空間特征變換和跨尺度特征集成的人臉超分辨方法，解決了現(xiàn)有技術(shù)中存在的現(xiàn)有方法忽略了重建的人臉圖像中紋理細節(jié)的問題。

本發(fā)明所采用的技術(shù)方案是，基于空間特征變換和跨尺度特征集成的人臉超分辨方法，具體按照如下步驟實施：

步驟1，從人臉數(shù)據(jù)集中隨機選取N張人臉圖像，然后對人臉圖像進行預(yù)處理，生成訓(xùn)練集和測試集；

步驟2，采用人臉解析預(yù)訓(xùn)練模型BisNet作為語義分割概率圖生成的基網(wǎng)絡(luò)，將步驟1預(yù)處理后的人臉圖像進行處理生成語義分割概率圖；

步驟3，構(gòu)建用于訓(xùn)練的生成對抗網(wǎng)絡(luò)模型，生成對抗網(wǎng)絡(luò)模型包括依次連接的語義分割概率圖中間條件生成模塊、空間特征變換模塊、跨尺度特征集成模塊和融合輸出模塊，跨尺度特征集成模塊內(nèi)引入圖像上采樣的亞像素卷積層，生成對抗網(wǎng)絡(luò)模型引入對抗損失函數(shù)和感知損失函數(shù)；

步驟4，將步驟1得到的訓(xùn)練集內(nèi)的人臉圖像依次輸入構(gòu)建的生成對抗網(wǎng)絡(luò)模型中，設(shè)置參數(shù)，訓(xùn)練并達到收斂；

步驟5，將步驟1中的測試集中的人臉圖像輸入經(jīng)步驟4訓(xùn)練好的生成對抗網(wǎng)絡(luò)模型中，得到超分辨重建后的高分辨圖像。

步驟1中的人臉數(shù)據(jù)集為CelebA-HQ人臉數(shù)據(jù)集。

步驟1中對訓(xùn)練集中的人臉圖像進行預(yù)處理具體為：采用雙立方插值算法對訓(xùn)練集中的圖像進行下采樣，輸出尺寸為512×512的插值圖像I^HR，作為訓(xùn)練集和測試集的目標圖像，然后將插值圖像I^HR采用雙立方插值下采樣4倍至64×64作為訓(xùn)練和測試輸入圖像I^LR；然后將輸入圖像I^LR采用雙立方插值上采樣4倍至256×256作為語義分割網(wǎng)絡(luò)輸入圖像I^S。

步驟2具體為：