[發(fā)明專利]一種基于生成對(duì)抗網(wǎng)絡(luò)的多姿態(tài)人臉生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710348366.1
• 申請(qǐng)日: 2017-05-17
• 公開（公告）號(hào): CN107292813B
• 公開（公告）日: 2019-10-22
• 發(fā)明（設(shè)計(jì)）人: 龍陽(yáng)祺;王曰海;胡浩基
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜;邱啟旺

本發(fā)明公開了一種基于生成對(duì)抗網(wǎng)絡(luò)的多姿態(tài)人臉生成方法，在訓(xùn)練階段，首先收集各種姿態(tài)的人臉數(shù)據(jù)，并基于生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)G和D，訓(xùn)練完成后，以隨機(jī)采樣加上姿態(tài)控制參數(shù)輸入生成網(wǎng)絡(luò)G得到各種姿態(tài)下的人臉圖像。本發(fā)明可以生成大量不同人在多個(gè)姿態(tài)下的人臉圖像，將有效改善多姿態(tài)人臉識(shí)別領(lǐng)域數(shù)據(jù)缺乏的問題。然后利用新生成的各種姿態(tài)的人臉圖像作為訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)編碼器用于提取圖像的身份信息；最終的測(cè)試過程，輸入一張隨機(jī)姿態(tài)下的圖片，經(jīng)過訓(xùn)練好的編碼器得到身份信息特征，再通過訓(xùn)練好的生成網(wǎng)絡(luò)，得到同一個(gè)人的各種姿態(tài)的人臉圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域，特別涉及深度學(xué)習(xí)，生成對(duì)抗模型(GAN)以及傳統(tǒng)的圖像處理方法。

背景技術(shù)

近年來，隨著大數(shù)據(jù)技術(shù)的深入發(fā)展，生物特征識(shí)別成為信息安全領(lǐng)域的重要研究方向。作為生物特征識(shí)別中最活躍的分支，人臉識(shí)別在近年來煥發(fā)了勃勃生機(jī)。從2013年開始，隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)逐漸應(yīng)用于人臉識(shí)別領(lǐng)域，獲得了比傳統(tǒng)識(shí)別方法更高的準(zhǔn)確率。盡管基于深度學(xué)習(xí)的人臉識(shí)別算法相比傳統(tǒng)算法有了長(zhǎng)足的進(jìn)步，但目前大多數(shù)人臉識(shí)別系統(tǒng)的假定是單一的限定性場(chǎng)景，即光照環(huán)境可控、用戶配合情況下的場(chǎng)景。然而基于單一限定性場(chǎng)景的人臉識(shí)別應(yīng)用卻很有限，現(xiàn)實(shí)的人臉識(shí)別場(chǎng)景存在光照和姿態(tài)變化等非限定性因素。例如，視頻監(jiān)控早已被廣泛應(yīng)用在道路交通、公共安全、安全控制等方面，對(duì)監(jiān)控視頻中各種姿態(tài)下的人臉識(shí)別，無疑具有重大應(yīng)用價(jià)值，但目前大多數(shù)通用的人臉識(shí)別系統(tǒng)對(duì)這一情況無法做到準(zhǔn)確識(shí)別。

目前大多數(shù)算法針對(duì)的都是正面姿態(tài)或者小姿態(tài)(45°以下)，缺乏對(duì)于大姿態(tài)人臉識(shí)別的泛化能力。對(duì)于大姿態(tài)的人臉識(shí)別，挑戰(zhàn)主要在于以下三點(diǎn)：首先，現(xiàn)在普遍的基于基準(zhǔn)點(diǎn)的模型都假設(shè)基準(zhǔn)點(diǎn)是可見的，但是對(duì)于側(cè)臉來說會(huì)存在遮擋不可見的問題；其次從正臉圖像到側(cè)臉圖像，隨著姿態(tài)的變化圖像變化非常劇烈；最后包含大姿態(tài)的大規(guī)模數(shù)據(jù)庫(kù)難以獲得，但這恰恰是深度學(xué)習(xí)得以實(shí)施的基礎(chǔ)。

發(fā)明內(nèi)容

針對(duì)多姿態(tài)人臉識(shí)別的困難問題，尤其是目前大規(guī)模多姿態(tài)人臉數(shù)據(jù)庫(kù)缺乏的問題，本發(fā)明提供一種基于生成對(duì)抗網(wǎng)絡(luò)的多姿態(tài)人臉生成方法。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用的技術(shù)方案如下：在訓(xùn)練階段，首先收集各種姿態(tài)的人臉數(shù)據(jù)，并基于生成對(duì)抗網(wǎng)絡(luò)(GAN)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)G和D，生成網(wǎng)絡(luò)G用來模擬原始數(shù)據(jù)生成類似于原始數(shù)據(jù)分布的人臉圖像，鑒別網(wǎng)絡(luò)D用來區(qū)分輸入圖像是來自生成網(wǎng)絡(luò)G還是原始圖像數(shù)據(jù)，訓(xùn)練完成后，以隨機(jī)采樣加上姿態(tài)控制參數(shù)輸入生成網(wǎng)絡(luò)G即可得到不同人的各種姿態(tài)下人臉圖像。具體步驟如下：

1)收集多姿態(tài)的人臉圖像，按角度姿態(tài)信息整理分類，并注上標(biāo)注且編碼為姿態(tài)控制參數(shù)y；

2)基于帶條件的生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練兩個(gè)深度神經(jīng)網(wǎng)絡(luò)：生成網(wǎng)絡(luò)G和鑒別網(wǎng)絡(luò)D；

3)將隨機(jī)采樣的向量和姿態(tài)控制參數(shù)y輸入生成網(wǎng)絡(luò)G，得到各種姿態(tài)的人臉圖像。

4)將隨機(jī)采樣的各種姿態(tài)的人臉圖像作為新的訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)編碼器用于提取圖像的身份信息特征；

5)測(cè)試階段，輸入一張隨機(jī)姿態(tài)下的圖片，經(jīng)過步驟4)訓(xùn)練好的編碼器得到身份信息特征，再加上目標(biāo)控制參數(shù)y，通過步驟2)訓(xùn)練好的生成網(wǎng)絡(luò)G，得到同一個(gè)人的各種姿態(tài)的人臉圖像。

進(jìn)一步地，所述的步驟1)中，標(biāo)注方法具體為：從-45°～45°，每隔15°為一種姿態(tài)，依次標(biāo)注為姿態(tài)0～6，然后編碼為姿態(tài)控制參數(shù)y，姿態(tài)控制參數(shù)y為一個(gè)7維one-hot向量，即向量中只有一個(gè)元素為1，其余元素為0，編碼規(guī)則為：如果為姿態(tài)i，i∈{0,1,…,6}，則對(duì)應(yīng)的姿態(tài)控制參數(shù)y為第i+1個(gè)元素為1，其他6個(gè)元素為0。

進(jìn)一步地，所述的步驟1)中，還包括對(duì)收集的多姿態(tài)的人臉圖像進(jìn)行數(shù)據(jù)預(yù)處理的操作，所述數(shù)據(jù)預(yù)處理包括減均值以及歸一化操作，所述減均值包括圖片意義下的減均值以及基于每個(gè)像素點(diǎn)位置的減均值。