[發(fā)明專利]基于對抗生成網(wǎng)絡(luò)的圖像處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201811404816.5
• 申請日: 2018-11-23
• 公開（公告）號: CN109711254B
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 金一;黃楊茹;李哲;錢晨;李浥東;郎叢妍
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

本發(fā)明提供一種基于對抗生成網(wǎng)絡(luò)的圖像處理方法和裝置，所述方法包括：步驟S1，獲取第一人臉樣本圖像；獲取第一人臉多屬性條件；步驟S2，將所述第一人臉樣本圖像和所述第一人臉多屬性條件，輸入訓(xùn)練好的對抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，得到第一合成圖像；步驟S3，將所述第一合成圖像作為符合所述第一人臉多屬性條件的人臉圖像，并輸出。

技術(shù)領(lǐng)域

本發(fā)明涉及對抗生成網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其是基于對抗生成網(wǎng)絡(luò)的圖像處理方法和裝置。

背景技術(shù)

隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)技術(shù)正應(yīng)用在越來越多的場景中，比如模式識別、數(shù)據(jù)壓縮、函數(shù)逼近等，而人臉識別作為生物特征識別中最活躍的分支之一，也越來越受到重視。其中，圖像視頻檢索以及人臉屬性分析等又是人臉識別的重要應(yīng)用，以人臉識別中的年齡估計(jì)為例，在傳統(tǒng)的年齡估計(jì)技術(shù)中，由于缺乏人臉圖像樣本數(shù)據(jù)，只能基于有限的數(shù)據(jù)進(jìn)行年齡分布挖掘，或者在獲取人臉不同區(qū)域的圖像信息后，結(jié)合所獲取的圖像信息進(jìn)行年齡估計(jì)。目前，可以采用數(shù)據(jù)增廣方法對人臉圖像樣本進(jìn)行擴(kuò)充，但是常規(guī)的數(shù)據(jù)增廣方法無法對包含特定年齡和性別等屬性信息的人臉圖像樣本進(jìn)行擴(kuò)充，從而影響人臉識別的準(zhǔn)確性，進(jìn)而限制人臉識別的應(yīng)用和推廣。

如何在有限數(shù)據(jù)條件下運(yùn)用生成數(shù)據(jù)強(qiáng)化有限的真實(shí)數(shù)據(jù)優(yōu)化模型性能是生成對抗網(wǎng)絡(luò)生成數(shù)據(jù)的主要用處和目的。因此，如何保留光照、遮擋、姿態(tài)、表情的多樣性，完美分離出上述多樣性與目標(biāo)屬性(年齡、性別和種族)之間的特征并再現(xiàn)至合成人臉上以提高合成人臉的生成準(zhǔn)確性，以及如何在大批量合成人臉數(shù)據(jù)中選擇出人臉數(shù)據(jù)用于增強(qiáng)有限的真實(shí)人臉數(shù)據(jù)并優(yōu)化預(yù)訓(xùn)練的人臉屬性分析模型是生成數(shù)據(jù)輔助屬性分析需要解決的主要問題。目前現(xiàn)有技術(shù)中的生成對抗網(wǎng)絡(luò)算法主要集中生成圖像的視覺效果，在圖像實(shí)用有效性上很少進(jìn)行討論和應(yīng)用。生成數(shù)據(jù)優(yōu)化模型的算法的有效性也進(jìn)一步證實(shí)生成對抗網(wǎng)絡(luò)的生成數(shù)據(jù)在實(shí)際應(yīng)用和輔助增強(qiáng)有限的數(shù)據(jù)集上的重要作用。

發(fā)明內(nèi)容

本發(fā)明的實(shí)例提供了一種基于對抗生成網(wǎng)絡(luò)的圖像處理方法和裝置，能夠運(yùn)用生成數(shù)據(jù)強(qiáng)化現(xiàn)有數(shù)據(jù)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。

一種基于對抗生成網(wǎng)絡(luò)的圖像處理方法，包括：

步驟S1，獲取第一人臉樣本圖像；獲取第一人臉多屬性條件；

步驟S2，將所述第一人臉樣本圖像和所述第一人臉多屬性條件，輸入訓(xùn)練好的對抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，得到第一合成圖像；

步驟S3，將所述第一合成圖像作為符合所述第一人臉多屬性條件的人臉圖像，并輸出。

一種基于對抗生成網(wǎng)絡(luò)的圖像處理裝置，包括：

獲取單元，獲取第一人臉樣本圖像；獲取第一人臉多屬性條件；

輸入單元，將所述第一人臉樣本圖像和所述第一人臉多屬性條件，輸入訓(xùn)練好的對抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，得到第一合成圖像；

輸出單元，將所述第一合成圖像作為符合所述第一人臉多屬性條件的人臉圖像，并輸出。

由上述本發(fā)明的實(shí)例提供的技術(shù)方案可以看出，本發(fā)明實(shí)例通過利用FM-GAN生成批量不同屬性(年齡、性別和種族)的人臉數(shù)據(jù)，在原始模型預(yù)訓(xùn)練性能的基礎(chǔ)上，采用在線自訓(xùn)練方法結(jié)合生成數(shù)據(jù)和真實(shí)數(shù)據(jù)提升模型性能，解決了有限數(shù)據(jù)環(huán)境下模型性能瓶頸的問題。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

為了更清楚地說明本發(fā)明實(shí)例的技術(shù)方案，下面將對實(shí)例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。