[發(fā)明專利]基于多尺度特征關(guān)系學(xué)習(xí)的多任務(wù)人臉修復(fù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011254674.6
• 申請(qǐng)日: 2020-11-11
• 公開（公告）號(hào): CN112365419A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 吳云鵬;劉志磊;肖瑞新
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06K9/00;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程小艷

本發(fā)明公開一種基于多尺度特征關(guān)系學(xué)習(xí)的多任務(wù)人臉修復(fù)方法，基于改進(jìn)圖卷積網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)結(jié)合。首先，利用特征金字塔網(wǎng)絡(luò)對(duì)低質(zhì)量人臉圖像進(jìn)行不同尺度的特征提取；其次，基于圖卷積網(wǎng)絡(luò)IGCN構(gòu)建關(guān)系區(qū)域模型塊RRMB來獲得不同尺度修復(fù)后的特征，借此來建立整個(gè)生成模型Generator和判別模型Discriminator；最后，利用生成模型對(duì)有掩膜和低分辨率兩種情況同時(shí)發(fā)生的人臉圖片進(jìn)行修復(fù)生成，與判別模型進(jìn)行博弈優(yōu)化，最終達(dá)到納什平衡的狀態(tài)。本發(fā)明實(shí)現(xiàn)復(fù)雜環(huán)境下低質(zhì)量人臉圖像的去遮擋和超分辨率重建，同時(shí)對(duì)于單獨(dú)的修復(fù)任務(wù)也能達(dá)到可觀的修復(fù)效果，具有重要的研究和應(yīng)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明屬于低質(zhì)量人臉圖像修復(fù)與還原領(lǐng)域，是一種基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)，結(jié)合改進(jìn)圖卷積方式，以及引入特征金字塔網(wǎng)絡(luò)(FeaturePyramidNetwork,FPN)，同時(shí)對(duì)低分辨率有遮擋的人臉圖像進(jìn)行修復(fù)與還原。

背景技術(shù)

圖像修復(fù)是一種常見的圖像編輯操作,其目的是用新生成的內(nèi)容填充圖像中的缺失或遮蔽的區(qū)域。新生成的內(nèi)容既可以與原圖像一樣精確,也可以簡(jiǎn)單地適配在周圍的像素中,使得修復(fù)后的圖像從視覺上看起來真實(shí)。其中人臉圖像修復(fù)是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù),現(xiàn)實(shí)場(chǎng)景中，人臉的變化是很大的，例如不同的姿勢(shì)、表情和遮擋等，因此在現(xiàn)實(shí)場(chǎng)景中修復(fù)人臉圖像是一件非常具有挑戰(zhàn)性的任務(wù)。一種好的修復(fù)算法應(yīng)該保證輸出沒有違和感，包括眼睛，鼻子和嘴巴之間的拓?fù)浣Y(jié)構(gòu)，以及姿勢(shì)，性別，種族，表情等屬性是一致的。近幾年,基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)算法表現(xiàn)卓越,它能夠生成出全新的、之前從未出現(xiàn)的像素,而且生成的圖像清晰逼真。除此之外,對(duì)于修復(fù)損壞嚴(yán)重的圖像或者任意形狀破損區(qū)域的圖像,都有很好的表現(xiàn)。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明面向復(fù)雜環(huán)境下的人臉圖像修復(fù)，對(duì)復(fù)雜環(huán)境下的低分辨率有遮擋圖像同時(shí)進(jìn)行修復(fù)。本發(fā)明旨在通過對(duì)低分辨率有遮擋的人臉圖像同時(shí)進(jìn)行修復(fù)，來解決現(xiàn)實(shí)場(chǎng)景下低質(zhì)量人臉圖像修復(fù)的難題。

為此，本發(fā)明采取的技術(shù)方案是，基于多尺度特征關(guān)系學(xué)習(xí)的多任務(wù)人臉修復(fù)方法，基于改進(jìn)圖卷積網(wǎng)絡(luò)(Improved Graph Convolutional Network,IGCN)與特征金字塔網(wǎng)絡(luò)(FeaturePyramidNetwork,FPN)結(jié)合，步驟如下：

(1)首先，利用特征金字塔網(wǎng)絡(luò)(FeaturePyramidNetwork,FPN)對(duì)低質(zhì)量人臉圖像進(jìn)行不同尺度的特征提取，此步驟為了保證不同尺度的人臉區(qū)域最終都能得到最大限度的修復(fù)；

(2)然后，基于圖卷積網(wǎng)絡(luò)IGCN(Improved Graph Convolutional Network)構(gòu)建關(guān)系區(qū)域模型塊RRMB(Relation Region Model Block)來獲得不同尺度修復(fù)后的特征，借此來建立整個(gè)生成模型Generator和判別模型Discriminator；

(3)最后，利用生成模型對(duì)有掩膜和低分辨率兩種情況同時(shí)發(fā)生的人臉圖片進(jìn)行修復(fù)生成，與判別模型進(jìn)行博弈優(yōu)化，最終達(dá)到納什平衡的狀態(tài)。

特征金字塔網(wǎng)絡(luò)FPN(FeaturePyramidNetwork)對(duì)初始的低質(zhì)量人臉圖像進(jìn)行不同尺度上的特征提取，并將不同尺度大小的特征圖像輸入到關(guān)系區(qū)域模型塊RRMB(Relation Region Model Block)中來進(jìn)行不同尺度上的卷積操作，最終將卷積之后的特征圖像在在同一緯度上進(jìn)行特征的組合，來保證不同尺度人臉區(qū)域的修復(fù)效果。