[發(fā)明專利]基于對抗生成網(wǎng)絡(luò)的圖像處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201811404816.5
• 申請日: 2018-11-23
• 公開（公告）號: CN109711254B
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 金一;黃楊茹;李哲;錢晨;李浥東;郎叢妍
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種基于對抗生成網(wǎng)絡(luò)的圖像處理方法，其特征在于，包括：

步驟S1，獲取第一人臉樣本圖像；獲取第一人臉多屬性條件；

步驟S2，將所述第一人臉樣本圖像和所述第一人臉多屬性條件，輸入訓(xùn)練好的對抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，得到第一合成圖像；訓(xùn)練所述對抗生成網(wǎng)絡(luò)的步驟具體包括：

步驟S11，獲取訓(xùn)練用人臉樣本圖像；獲取訓(xùn)練用人臉多屬性條件；

步驟S12，將所述訓(xùn)練用人臉樣本圖像和所述訓(xùn)練用人臉多屬性條件，輸入待訓(xùn)練的對抗生成網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，得到訓(xùn)練用合成圖像；

步驟S13，分別將所述訓(xùn)練用合成圖像與所述訓(xùn)練用人臉樣本圖像輸入所述對抗生成網(wǎng)絡(luò)的判別網(wǎng)絡(luò)，使得所述判別網(wǎng)絡(luò)對所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像進行區(qū)分；

步驟S14，若所述判別網(wǎng)絡(luò)能夠區(qū)分所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像，則優(yōu)化所述對抗生成網(wǎng)絡(luò)的所述生成網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)，生成更新后的述生成網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)，并跳到所述步驟S12；若所述判別網(wǎng)絡(luò)無法區(qū)分所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像，則所述對抗生成網(wǎng)絡(luò)訓(xùn)練完成；所述優(yōu)化所述對抗生成網(wǎng)絡(luò)的所述生成網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)的步驟包括：

步驟111：利用原始真實訓(xùn)練數(shù)據(jù)訓(xùn)練生成對抗網(wǎng)絡(luò)算法，在這里，我們應(yīng)用的該網(wǎng)絡(luò)叫做FM-GAN，預(yù)訓(xùn)練保證根據(jù)指定的多屬性條件：年齡a、性別g和種族e生成想要的生成圖像x′_j←G(z，a，g，e)；z是代表的隨機變量；

步驟112：用FM-GAN中的生成網(wǎng)絡(luò)G指定條件生成圖像x′_j，送入到待優(yōu)化模型中只進行前向傳播，獲得當(dāng)前模型的預(yù)測輸出值y_pred←m·p_m(x′_j)，m∈[0，F(xiàn)C]，其中m為年齡屬性值，F(xiàn)C為年齡分布的最大值，P為m對應(yīng)的屬于該年齡的概率，y為待優(yōu)化模型對生成人臉x′_j的年齡預(yù)測；

步驟113：將符合條件要求分界線Borderline的生成數(shù)據(jù)x′_j存儲到緩存池DataPool中，計算網(wǎng)絡(luò)實際的輸出值y_pred和理想的實際值y′_j之間的差距，公式如下，DataPool←x′_j{|y_pred-y′_j|≤Borderline}；

步驟114：從緩存池中取出N個生成樣本，從原始訓(xùn)練集中打亂隨機取出M個訓(xùn)練樣本，組成一個容量為K＝M+N的批處理數(shù)據(jù)，送入到待優(yōu)化的年齡估計網(wǎng)絡(luò)E中，經(jīng)過前向傳遞計算輸出值，然后根據(jù)輸出值和期望值計算損失函數(shù)L(θ)，調(diào)整網(wǎng)絡(luò)的參數(shù)，以最小化損失函數(shù)，減小誤差為目標；

步驟115：返回到步驟112中循環(huán)執(zhí)行，同時輸出觀察待優(yōu)化模型的性能變化，每優(yōu)化一輪就計算模型在真實測試集上的性能效果，年齡的度量標準選擇Mean Absolute Error平均絕對誤差，以反映預(yù)測值誤差的實際情況；

步驟S3，將所述第一合成圖像作為符合所述第一人臉多屬性條件的人臉圖像，并輸出。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1之后，所述步驟S2之前，所述方法還包括：

對所述第一人臉樣本圖像進行人臉檢測，判斷所述第一人臉樣本圖像中是否存在人臉；

當(dāng)所述第一人臉樣本圖像中存在人臉時，則執(zhí)行步驟S2；

當(dāng)所述第一人臉樣本圖像中不存在人臉時，則結(jié)束處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判別網(wǎng)絡(luò)對所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像進行區(qū)分的步驟具體為：

根據(jù)所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像，分別輸出真?zhèn)闻袆e概率以及多屬性特征層；

根據(jù)所述真?zhèn)闻袆e概率以及所述多屬性特征層，分別計算所述判別網(wǎng)絡(luò)的損失函數(shù)的對抗損失項以及所述生成網(wǎng)絡(luò)的損失函數(shù)的多屬性交叉熵損失項；

若所述對抗損失項趨于平穩(wěn)狀態(tài)且所述多屬性交叉熵損失項收斂狀態(tài)，則判斷為：所述判別網(wǎng)絡(luò)無法區(qū)分所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像；反之，判斷為所述判別網(wǎng)絡(luò)能夠區(qū)分所述訓(xùn)練用合成圖像和所述訓(xùn)練用人臉樣本圖像。