[發明專利]一種人臉超分辨率重建方法及系統

有效

• 申請號: 202110487901.8
• 申請日: 2021-05-06
• 公開（公告）號: CN112884657B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 郭克華;胡敏;奎曉燕;趙穎;胡斌
• 申請（專利權）人: 中南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 王娟;馬強

1.一種人臉超分辨率重建方法，其特征在于，包括以下步驟：

S1、輸入低光照、低分辨率人臉圖像，經過卷積操作提取出特征圖，對特征圖進行亮度調整，獲得調整之后的特征圖；

S2、將特征圖經過一個3×3的卷積層和亮度調整，得到更新后的；將更新后的特征圖通道維度中亮度調整后的所有輸出串聯到，重復該過程9次，得到更新后的；對更新后的進行卷積操作，獲得亮度增強的低分辨率人臉圖像；

S3、對所述低分辨率人臉圖像依次進行N倍下采樣操作和卷積操作，提取所述低分辨率人臉圖像的第一人臉特征圖，利用第一StyleBlock學習所述第一人臉特征圖，獲得提高分辨率后的第二人臉特征圖；

S4、對所述低分辨率人臉圖像依次進行N/2倍下采樣操作和卷積操作，提取所述低分辨率人臉圖像的第三人臉特征圖，將所述第二人臉特征圖和第三人臉特征圖作為第二StyleBlock的輸入，獲得第四人臉特征圖；

S5、將下采樣操作倍數設置為N/2ⁱ，對所述低分辨率人臉圖像執行步驟S4的操作K次，最終獲得提高分辨率后的人臉圖像；i為正整數，且i≥2；

S6、級聯多個輸出StyleBlock，得到級聯結構，并將提高分辨率后的人臉圖像作為所述級聯結構中第一個輸出StyleBlock的輸入，得到重建后的人臉圖像；

各StyleBlock對輸入的人臉特征圖執行如下操作：對所述輸入的人臉特征圖進行反卷積操作，使輸入的人臉特征圖變大；通過多個卷積層對輸入的低分辨率人臉圖像進行編碼，加入高斯先驗的噪聲，經過Flatten層把多維的輸入一維化獲得編碼變量z，將編碼向量z經過多個線性層轉換為一個向量x，向量x與變大之后的輸入的人臉特征圖做內積操作，將所述內積操作的結果作為通道注意力機制的輸入，最后通過平均池化層和多個輸出卷積層，輸出對應的人臉特征圖。

2.根據權利要求1所述的人臉超分辨率重建方法，其特征在于，步驟S6之后，還包括：

S7、將重建后的人臉圖像與真實人臉圖像分別輸入人臉鑒別網絡，對應分別得到預測值fake_value和預測值real_value；計算fake_value和real_value之間的均方損失函數，進行反向傳播從而訓練人臉鑒別網絡，訓練后的人臉鑒別網絡即為鑒別模型。

3.根據權利要求2所述的人臉超分辨率重建方法，其特征在于，所述人臉鑒別網絡獲取預測值的實現過程包括：通過M₁個卷積層結合注意力機制學習人臉圖像人臉空間區域之間的關系，獲得注意力特征圖，將所述注意力特征圖經過平均池化層和M₂個卷積層，最后通過Sigmoid激活函數輸出預測值。

4.根據權利要求1所述的人臉超分辨率重建方法，其特征在于，步驟S1中，對特征圖進行亮度調整的具體實現過程包括：將所述特征圖輸入亮度調整子模塊中，得到調整之后的特征圖；其中，所述亮度調整子模塊包括依次連接的輸入卷積層、2個中間卷積層和3個反卷積層。

5.根據權利要求1所述的人臉超分辨率重建方法，其特征在于，所述StyleBlock包括編碼部分和樣式調整部分；所述樣式調整部分包括反卷積層；所述反卷積層的輸入為對應的人臉特征圖；所述反卷積層與通道注意力模塊連接；所述編碼部分包括輸入卷積層；所述輸入卷積層與多個級聯的第一卷積層連接；所述多個級聯的第一卷積層的最后一個第一卷積層與Flatten層連接；所述Flatten層與多個級聯的線性層連接；最后一個所述線性層與通道注意力模塊連接；所述輸入卷積層的輸入為所述低分辨率人臉圖像。

6.根據權利要求5所述的人臉超分辨率重建方法，其特征在于，所述通道注意力模塊包括平均池化層；所述平均池化層與至少一個第二卷積層連接；所述第二卷積層通過Sigmoid激活函數與多個級聯的第三卷積層連接。

7.一種人臉超分辨率重建系統，其特征在于，包括計算機設備；所述計算機設備被配置或編程為用于執行權利要求1～6之一所述方法的步驟。