[發(fā)明專利]一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010825307.0
• 申請日: 2020-08-17
• 公開（公告）號: CN111985642A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 吳善思源;龔秋棠;侯峰;林奇;吳方燦
• 申請（專利權(quán)）人: 廈門真景科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T5/00
• 代理公司: 廈門原創(chuàng)專利事務(wù)所(普通合伙) 35101
• 代理人: 徐東峰

1.一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：其包括如下步驟：

S1，訓(xùn)練一個(gè)人臉五官屬性分類網(wǎng)絡(luò)NetA；

S2，訓(xùn)練一個(gè)人臉五官語義分割網(wǎng)絡(luò)NetS；

S3，訓(xùn)練一個(gè)普通用戶人臉自編碼網(wǎng)絡(luò)，包括NetCe和NetCd；

S4，訓(xùn)練一個(gè)高顏值用戶人臉自編碼網(wǎng)絡(luò)，包括NetBe和NetBd；

S5，訓(xùn)練隱空間編碼轉(zhuǎn)換網(wǎng)絡(luò)NetT；

S6，通過NetCe將普通用戶人臉圖像Cimage轉(zhuǎn)換成隱空間編碼Ccode；

S7，通過NetBe將高顏值用戶人臉圖像Bimage轉(zhuǎn)換成隱空間編碼Bcode；

S8，通過NetT將Ccode轉(zhuǎn)換為C2Bcode，并通過NetBd將C2Bcode還原為輸出圖像output；

S9，使Ccode＝NetCe(Cimage)；C2Bcode＝NetT(Ccode)；output＝NetBd(C2Bcode)，從而獲得與用戶本人身份特征一致的高顏值臉部圖像output。

2.根據(jù)權(quán)利要求1所述的一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述步驟S8中的輸出圖像output受到三個(gè)約束：

(1)NetS(Cimage)對NetS(output)進(jìn)行約束；

(2)NetA(Cimage)對NetA(output)進(jìn)行約束；

(3)通過對抗生成網(wǎng)絡(luò)GAN訓(xùn)練判別器NetD，使NetD(Bimage)對NetD(output)進(jìn)行約束，即讓判別網(wǎng)絡(luò)認(rèn)為生成結(jié)果output是一張高顏值用戶圖像。

3.根據(jù)權(quán)利要求1所述的一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述步驟S1中的人臉五官屬性分類網(wǎng)絡(luò)NetA的訓(xùn)練方法為向網(wǎng)絡(luò)輸入一張圖像，輸出N個(gè)判斷標(biāo)簽，將判斷標(biāo)簽與真實(shí)標(biāo)簽計(jì)算損失殘差，通過梯度回傳訓(xùn)練網(wǎng)絡(luò)權(quán)重。

4.根據(jù)權(quán)利要求1所述的一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述步驟S2中的人臉五官語義分割網(wǎng)絡(luò)NetS的訓(xùn)練方法為網(wǎng)絡(luò)輸入一張圖像，輸出一張語義分割mask，將輸出的語義分割mask與真實(shí)的語言標(biāo)簽計(jì)算交叉熵，通過梯度回傳訓(xùn)練網(wǎng)絡(luò)權(quán)重。

5.根據(jù)權(quán)利要求1所述的一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述步驟S3中的NetCe和NetCd的訓(xùn)練方法為向網(wǎng)絡(luò)輸入一張普通用戶人臉圖像，網(wǎng)絡(luò)輸出一張圖像，通過輸出圖像與輸入圖像計(jì)算重建損失殘差，通過梯度回傳訓(xùn)練網(wǎng)絡(luò)權(quán)重。

6.根據(jù)權(quán)利要求1所述的一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于：所述步驟S4中的NetBe和NetBd的訓(xùn)練方法為向網(wǎng)絡(luò)輸入一張高顏值用戶人臉圖像，網(wǎng)絡(luò)輸出一張圖像，通過輸出圖像與輸入圖像計(jì)算重建損失殘差，通過梯度回傳訓(xùn)練網(wǎng)絡(luò)權(quán)重。

7.一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于：其包括：

訓(xùn)練單元，用于訓(xùn)練人臉五官屬性分類網(wǎng)絡(luò)NetA、人臉五官語義分割網(wǎng)絡(luò)NetS、普通用戶人臉自編碼網(wǎng)絡(luò)，包括NetCe和NetCd、高顏值用戶人臉自編碼網(wǎng)絡(luò)，包括NetBe和NetBd和隱空間編碼轉(zhuǎn)換網(wǎng)絡(luò)NetT；

圖像獲取單元，用于獲取高顏值用戶人臉圖像Bimage和普通用戶人臉圖像Cimage；

約束單元，用于對輸出圖像output進(jìn)行約束，包括NetS(Cimage)對NetS(output)約束、NetA(Cimage)對NetA(output)約束和通過對抗生成網(wǎng)絡(luò)GAN訓(xùn)練判別器NetD，使NetD(Bimage)對NetD(output)約束，即讓判別網(wǎng)絡(luò)認(rèn)為生成結(jié)果output是一張高顏值用戶圖像。

8.一種美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備，其特征在于：其包括：處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序能夠被所述處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至6任意一項(xiàng)所述的美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1至6任意一項(xiàng)所述的美顏神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。