[發(fā)明專利]圖像翻譯模型訓(xùn)練方法、圖像翻譯方法及裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911349721.2
• 申請(qǐng)日: 2019-12-24
• 公開(kāi)（公告）號(hào): CN111091493A
• 公開(kāi)（公告）日: 2020-05-01
• 發(fā)明（設(shè)計(jì)）人: 劉明聰;李強(qiáng);張雷;張文波;鄭文
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T7/00
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 馮右明

1.一種圖像翻譯模型訓(xùn)練方法，其特征在于，包括：

獲取人臉圖像數(shù)據(jù)集和動(dòng)漫頭像數(shù)據(jù)集；

將所述人臉圖像數(shù)據(jù)集和所述動(dòng)漫頭像數(shù)據(jù)集組合為多個(gè)訓(xùn)練數(shù)據(jù)集，分別訓(xùn)練無(wú)監(jiān)督圖像翻譯模型，得到多個(gè)圖像翻譯模型；

針對(duì)所述多個(gè)圖像翻譯模型，迭代執(zhí)行如下步驟進(jìn)行訓(xùn)練：

將所述人臉圖像數(shù)據(jù)集中的各人臉圖像分別輸入所述多個(gè)圖像翻譯模型，得到針對(duì)各人臉圖像的第一動(dòng)漫頭像；

從所述第一動(dòng)漫頭像中篩選出正樣本動(dòng)漫頭像，其中，所述正樣本動(dòng)漫頭像為基于預(yù)設(shè)評(píng)分系統(tǒng)標(biāo)準(zhǔn)得到最高評(píng)分的第一動(dòng)漫頭像；

采用所述正樣本動(dòng)漫頭像和其對(duì)應(yīng)的人臉圖像組成人臉-動(dòng)漫頭像對(duì)；

采用所述人臉-動(dòng)漫頭像對(duì)訓(xùn)練所述多個(gè)圖像翻譯模型；

當(dāng)滿足迭代結(jié)束條件后，從訓(xùn)練后的所述多個(gè)圖像翻譯模型中，篩選出目標(biāo)圖像翻譯模型。

2.根據(jù)權(quán)利要求1所述的圖像翻譯模型訓(xùn)練方法，其特征在于，所述采用將所述人臉圖像數(shù)據(jù)集和所述動(dòng)漫圖像動(dòng)漫頭像數(shù)據(jù)集組合為多個(gè)訓(xùn)練數(shù)據(jù)集的步驟包括：

獲取所述動(dòng)漫頭像數(shù)據(jù)集的動(dòng)漫圖像數(shù)目；

按照所述動(dòng)漫圖像數(shù)目將所述人臉圖像數(shù)據(jù)集劃分為多個(gè)人臉圖像子數(shù)據(jù)集；所述人臉圖像數(shù)目與所述動(dòng)漫頭像數(shù)據(jù)集的動(dòng)漫圖像數(shù)目相同；

將各所述人臉圖像子數(shù)據(jù)集與所述動(dòng)漫頭像數(shù)據(jù)集組合為多個(gè)訓(xùn)練數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的圖像翻譯模型訓(xùn)練方法，其特征在于，所述分別訓(xùn)練無(wú)監(jiān)督圖像翻譯模型，得到多個(gè)圖像翻譯模型的步驟包括：

將所述多個(gè)訓(xùn)練數(shù)據(jù)集，分別輸入到多個(gè)無(wú)監(jiān)督圖像翻譯模型進(jìn)行迭代訓(xùn)練；

將迭代訓(xùn)練最后i輪訓(xùn)練后的結(jié)果模型，作為圖像翻譯模型，所述圖像翻譯模型的網(wǎng)絡(luò)結(jié)構(gòu)相同且權(quán)重參數(shù)不完全相同，所述i為正整數(shù)。

4.根據(jù)權(quán)利要求1所述的圖像翻譯模型訓(xùn)練方法，其特征在于，在從所述各人臉圖像的動(dòng)漫頭像中篩選出正樣本動(dòng)漫頭像的步驟之后，還包括：

將所述第一動(dòng)漫頭像中除所述正樣本動(dòng)漫頭像之外的其他動(dòng)漫頭像，作為負(fù)樣本動(dòng)漫頭像；

根據(jù)所述正樣本動(dòng)漫頭像和所述負(fù)樣本動(dòng)漫頭像，訓(xùn)練二分類網(wǎng)絡(luò)得到圖像質(zhì)量篩選器。

5.根據(jù)權(quán)利要求4所述的圖像翻譯模型訓(xùn)練方法，其特征在于，在將所述人臉圖像數(shù)據(jù)集中的各人臉圖像分別輸入所述多個(gè)圖像翻譯模型，得到針對(duì)各人臉圖像的第一動(dòng)漫頭像的步驟之后，還包括：

將所述第一動(dòng)漫頭像輸入所述圖像質(zhì)量篩選器，得到所述第一動(dòng)漫頭像對(duì)應(yīng)的可信值；

通過(guò)所述圖像質(zhì)量篩選器過(guò)濾所述可信值未達(dá)到預(yù)設(shè)閾值的所述第一動(dòng)漫頭像和對(duì)應(yīng)的人臉圖像。

6.一種圖像翻譯方法，其特征在于，所述方法包括：

獲取待處理人臉圖像；

將所述待處理人臉圖像輸入圖像翻譯模型，得到第三動(dòng)漫頭像，其中，所述圖像翻譯模型為根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像翻譯模型訓(xùn)練方法得到。

7.一種圖像翻譯模型訓(xùn)練裝置，其特征在于，包括：

數(shù)據(jù)集獲取單元，被配置為獲取人臉圖像數(shù)據(jù)集和動(dòng)漫頭像數(shù)據(jù)集；

圖像翻譯模型生成單元，被配置為將所述人臉圖像數(shù)據(jù)集和所述動(dòng)漫頭像數(shù)據(jù)集組合為多個(gè)訓(xùn)練數(shù)據(jù)集，分別訓(xùn)練無(wú)監(jiān)督圖像翻譯模型，得到多個(gè)圖像翻譯模型；

迭代單元，被配置為將所述人臉圖像數(shù)據(jù)集中的各人臉圖像分別輸入所述多個(gè)圖像翻譯模型，得到針對(duì)各人臉圖像的第一動(dòng)漫頭像；從所述第一動(dòng)漫頭像中篩選出正樣本動(dòng)漫頭像，其中，所述正樣本動(dòng)漫頭像為基于預(yù)設(shè)評(píng)分系統(tǒng)標(biāo)準(zhǔn)得到最高評(píng)分的第一動(dòng)漫頭像；采用所述正樣本動(dòng)漫頭像和其對(duì)應(yīng)的人臉圖像組成人臉-動(dòng)漫頭像對(duì)；采用所述人臉-動(dòng)漫頭像對(duì)訓(xùn)練所述多個(gè)圖像翻譯模型；當(dāng)滿足迭代結(jié)束條件后，從訓(xùn)練后的所述多個(gè)圖像翻譯模型中，篩選出目標(biāo)圖像翻譯模型；

模型篩選單元，被配置為當(dāng)滿足迭代結(jié)束條件后，從訓(xùn)練后的所述多個(gè)像翻譯模型中，篩選出目標(biāo)圖像翻譯模型。