[發(fā)明專利]人臉圖像數(shù)據(jù)集的擴(kuò)充方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911421810.3
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111160487A
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 朱軍;周聿浩;石佳欣
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N20/00
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 張秀程

本發(fā)明實(shí)施例提供一種人臉圖像數(shù)據(jù)集的擴(kuò)充方法和裝置，該方法包括：確定人臉圖像數(shù)據(jù)集和預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)；采用所述人臉圖像數(shù)據(jù)集中的圖像訓(xùn)練變分自編碼器，確定所述變分自編碼器的參數(shù)，其中，所述變分自編碼器包括編碼器和解碼器；將期望的圖像矢量描述的分布采集預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)的圖像矢量描述輸入所述解碼器，得到預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)的圖像；其中，所述變分自編碼器的訓(xùn)練過(guò)程中需要最小化的目標(biāo)函數(shù)關(guān)于變分自編碼器的參數(shù)的梯度是通過(guò)樣本基于Stein等式和Nystrom算法得到的。本發(fā)明實(shí)施例提供的方法和裝置，提高了人臉圖像數(shù)據(jù)集的擴(kuò)充的可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種人臉圖像數(shù)據(jù)集的擴(kuò)充方法和裝置。

背景技術(shù)

隨著人工智能領(lǐng)域的飛速發(fā)展，越來(lái)越多的技術(shù)都開(kāi)始采用機(jī)器學(xué)習(xí)的方法進(jìn)行大量數(shù)據(jù)的學(xué)習(xí)和處理。目前，人臉圖像數(shù)據(jù)集可以用作各種研究，但是通常靠現(xiàn)實(shí)中采集自然人的人臉圖像的數(shù)目受到個(gè)人隱私的限制而有限，因此，我們?nèi)绻枰@得較大樣本量的人臉圖像數(shù)據(jù)集可以在已有的人臉圖像的基礎(chǔ)上再生成更多的人工合成的人臉圖像，這個(gè)再生過(guò)程就是人臉圖像數(shù)據(jù)集的擴(kuò)充。在人臉圖像數(shù)據(jù)集的擴(kuò)充的過(guò)程中采用機(jī)器學(xué)習(xí)來(lái)生成更多的人臉圖像，通常需要訓(xùn)練變分自編碼器，但是在目前在復(fù)雜的變分自編碼器的訓(xùn)練過(guò)程中難以計(jì)算對(duì)數(shù)概率密度函數(shù)梯度。

由于變分自編碼器的訓(xùn)練通常只利用對(duì)數(shù)密度函數(shù)的梯度，并且較為容易從相應(yīng)密度函數(shù)中進(jìn)行采樣，因此利用樣本直接對(duì)所述梯度進(jìn)行估計(jì)是一種方法。直接最小化Fisher散度是一個(gè)較為有效的估計(jì)對(duì)數(shù)密度函數(shù)梯度的方法，此外還有一部分基于Stein方法的梯度估計(jì)。雖然這類方法取得了一定的成功，但大部分現(xiàn)有的算法不能保證所估計(jì)的梯度具有梯度場(chǎng)的保守性，這在高維情況下可能會(huì)影響估計(jì)的準(zhǔn)確性，另外的一小部分基于核方法的梯度估計(jì)雖然能夠保證所估計(jì)的梯度的保守性，但其的計(jì)算復(fù)雜度很高，無(wú)法適應(yīng)高維或樣本數(shù)龐大的情況。

因此，如何避免基于訓(xùn)練變分自編碼器來(lái)擴(kuò)充人臉圖像數(shù)據(jù)集的方法中估計(jì)的對(duì)數(shù)概率密度函數(shù)梯度缺乏保守性，無(wú)法適應(yīng)高維或樣本數(shù)龐大的情況，提高人臉圖像數(shù)據(jù)集擴(kuò)充的可靠性，仍然是本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種人臉圖像數(shù)據(jù)集的擴(kuò)充方法和裝置，用以解決現(xiàn)有的基于訓(xùn)練變分自編碼器來(lái)擴(kuò)充人臉圖像數(shù)據(jù)集的方法中估計(jì)的對(duì)數(shù)概率密度函數(shù)梯度缺乏保守性，無(wú)法適應(yīng)高維或樣本數(shù)龐大的情況的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供一種人臉圖像數(shù)據(jù)集的擴(kuò)充方法，包括：

確定人臉圖像數(shù)據(jù)集和預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)；

采用所述人臉圖像數(shù)據(jù)集中的圖像訓(xùn)練變分自編碼器，確定所述變分自編碼器的參數(shù)，其中，所述變分自編碼器包括編碼器和解碼器；

將期望的圖像矢量描述的分布采集預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)的圖像矢量描述輸入所述解碼器，得到預(yù)計(jì)擴(kuò)充圖像個(gè)數(shù)的圖像；

其中，所述變分自編碼器的訓(xùn)練過(guò)程中需要最小化的目標(biāo)函數(shù)關(guān)于變分自編碼器的參數(shù)的梯度是通過(guò)樣本基于Stein等式和Nystrom算法得到的。

優(yōu)選地，該方法中，所述編碼器的輸入為圖像數(shù)據(jù)，輸出為對(duì)應(yīng)于每一幅輸入圖像的圖像矢量描述；

所述解碼器的輸入為圖像矢量描述，輸出為對(duì)應(yīng)于每一個(gè)輸入圖像矢量描述的圖像。

優(yōu)選地，該方法中，基于所述人臉圖像數(shù)據(jù)集中的圖像訓(xùn)練所述變分自編碼器，具體包括：

確定第一訓(xùn)練次數(shù)以及每次訓(xùn)練需要的第一圖像個(gè)數(shù)；

每次訓(xùn)練中，采用第一圖像個(gè)數(shù)的圖像進(jìn)行訓(xùn)練，計(jì)算需要最小化的目標(biāo)函數(shù)關(guān)于待優(yōu)化的編碼器的參數(shù)的第一梯度，計(jì)算需要最小化的目標(biāo)函數(shù)關(guān)于待優(yōu)化的解碼器的參數(shù)的第二梯度；

基于所述第一梯度和所述第二梯度，利用隨機(jī)優(yōu)化器更新所述編碼器的參數(shù)和所述解碼器的參數(shù)；