[發明專利]基于多尺度特征關系學習的多任務人臉修復方法

在審

• 申請號: 202011254674.6
• 申請日: 2020-11-11
• 公開（公告）號: CN112365419A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 吳云鵬;劉志磊;肖瑞新
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程小艷

1.基于多尺度特征關系學習的多任務人臉修復方法，其特征在于，基于改進圖卷積網絡與特征金字塔網絡結合的方式的人臉圖像修復方法，步驟如下：

(1)利用特征金字塔網絡對低質量人臉圖像進行不同尺度的特征提取；

(2)基于圖卷積網絡IGCN構建關系區域模型塊RRMB來獲得不同尺度修復后的特征，借此來建立整個生成模型Generator和判別模型Discriminator；

(3)利用生成模型對有掩膜和低分辨率兩種情況同時發生的人臉圖片進行修復生成，與判別模型進行博弈優化，最終達到納什平衡的狀態。

2.根據權利要求1所述的基于多尺度特征關系學習的多任務人臉修復方法，其特征在于，具體如下：

(1)基于特征金字塔網絡模塊對圖像進行特征的提取：

利用特征金字塔網絡模塊對人臉圖像進行不同尺度上的特征提取，我們將VGG-19的前三層用作FPN的三層下采樣層，然后將每層的下采樣特征轉發到RRMB中以進行特征關系建模，并將生成的三層特征服從一個步驟特征融合，以在每個塊之后獲得特征；

(2)基于改進圖卷積網絡和對抗生成網絡進行人臉圖像修復：

利用改進圖卷積網絡IGCN構建生成模型和判別模型，生成模型將輸入的帶有遮擋的低分辨率人臉圖片修復生成到完整的高清人臉圖片，判別模型區分生成修復后的人臉圖片和真實的原來人臉圖片，生成模型混淆判別模型，以致判別模型將生成的人臉圖片判定為真實的人臉圖片來提高生成的人臉圖片的質量。