[發(fā)明專利]漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法、圖像生成方法及裝置

有效

• 申請?zhí)枺?/td>: 202011104745.4
• 申請日: 2020-10-15
• 公開（公告）號: CN112232485B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 赫然;丁雨禾;馬鑫;駱曼迪;鄭愛華;黃懷波;單彩峰
• 申請（專利權(quán)）人: 中科人工智能創(chuàng)新技術(shù)研究院（青島）有限公司
• 主分類號: G06N3/0455
• 分類號: G06N3/0455;G06N3/0475;G06N3/0464;G06N3/094;G06T3/00;G06T7/49
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 陳曉敏

本公開涉及一種漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法、圖像生成方法及裝置，具體方法包括：輸入的人臉照片送入到編碼器，編碼器將照片編碼到一個公共隱空間，再從隱空間中進行隨機采樣，利用漫畫域的解碼器解碼后得到風(fēng)格轉(zhuǎn)換后的圖片。同時輸入的人臉照片還要送入照片域的形變預(yù)測網(wǎng)絡(luò)，來預(yù)測一組扭曲關(guān)鍵點，來對風(fēng)格轉(zhuǎn)換后的圖片進行形狀扭曲，之后就得到了最終轉(zhuǎn)換后的漫畫圖片。本公開提出了一個相對風(fēng)格損失，該損失將傳統(tǒng)的相對損失中的歐氏距離利用格里姆矩陣改進為風(fēng)格距離。在網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化過程中，可以拉近生成漫畫與真實漫畫之間的風(fēng)格距離，同時拉遠生成漫畫與照片之間的風(fēng)格距離。從而提升生成圖片的紋理質(zhì)量，減少偽影。

技術(shù)領(lǐng)域

本公開屬于計算機圖形處理技術(shù)領(lǐng)域，具體涉及一種漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法、圖像生成方法及裝置。

背景技術(shù)

人臉照片到漫畫的轉(zhuǎn)換是特殊的圖像到圖像轉(zhuǎn)換任務(wù)，具有一定的商業(yè)價值，在娛樂、出版業(yè)都有應(yīng)用。

漫畫的生成需要夸大面部特征，并重新渲染面部紋理以形成肖像。現(xiàn)有方法主要分為三類：基于變形，基于紋理和同時考慮這兩個方面的方法。基于變形的方法通過使用某些引導(dǎo)信息(例如2D標志點，3D網(wǎng)格或繪圖線)來關(guān)注幾何變形。但是，要保證精確的引導(dǎo)信息是一項挑戰(zhàn)。此外，它們生成的結(jié)果缺少紋理的轉(zhuǎn)換。基于紋理的方法通過廣泛使用的生成對抗網(wǎng)絡(luò)獲得漫畫的風(fēng)格，比如使用循環(huán)生成器來保持漫畫生成中的紋理一致性；以及通過弱監(jiān)督的對抗學(xué)習(xí)傳遞輸入圖像的紋理。但是，他們僅在表示空間處理形變，因此導(dǎo)致變形能力有限。為了獲得在提升紋理效果的同時獲得更好的形變效果，以及生成對抗網(wǎng)絡(luò)及其各種變體的發(fā)展，產(chǎn)生了很多同時基于紋理渲染和形變的工作。

發(fā)明人認為，大多數(shù)風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)并沒有對紋理渲染網(wǎng)絡(luò)進行進一步處理，而漫畫數(shù)據(jù)往往紋理非常的多樣化，導(dǎo)致了生成圖片的紋理產(chǎn)生許多的偽影。同時訓(xùn)練時身份等標簽的需求也不夠契合實際應(yīng)用。

發(fā)明內(nèi)容

本公開的目的是為克服上述現(xiàn)有技術(shù)的不足，本公開提出了一種漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法、圖像生成方法及裝置，能夠至少解決上述技術(shù)問題之一。

本公開的第一方面提出一種漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法，包括以下步驟：

步驟S1、定義相對風(fēng)格損失，具體定義為：

給定輸入為三張圖片：照片、紋理轉(zhuǎn)換后的照片、漫畫，將照片和紋理轉(zhuǎn)換后的照片作為負樣本對，將紋理轉(zhuǎn)換后的照片和漫畫作為正樣本對，對樣本對的三通道求出格里姆矩陣，再對求出的格里姆矩陣求均方差即定義為風(fēng)格距離；將相對損失中的歐氏距離替換為風(fēng)格距離,獲得相對風(fēng)格損失；

步驟S2、利用相對風(fēng)格損失，通過迭代訓(xùn)練得到可以進行照片到漫畫轉(zhuǎn)換的對抗生成網(wǎng)絡(luò)模型。

本公開的第二方面提供一種漫畫風(fēng)格圖像轉(zhuǎn)換方法，利用了所述的漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練方法，包括以下步驟：

獲取目標照片；

將目標照片輸入預(yù)先訓(xùn)練的漫畫風(fēng)格圖像轉(zhuǎn)換模型，對測試用的目標照片進行到漫畫域的風(fēng)格轉(zhuǎn)換，并進行幾何形變。

本公開的第三方面提供一種漫畫風(fēng)格圖像轉(zhuǎn)換模型的訓(xùn)練裝置，包括：

圖像獲取單元：用于獲取圖片；

網(wǎng)絡(luò)獲取單元：用于獲取預(yù)設(shè)的對抗生成網(wǎng)絡(luò)；

模型訓(xùn)練單元：通過機器學(xué)習(xí)的方式，經(jīng)多次迭代得到穩(wěn)定的漫畫風(fēng)格圖像轉(zhuǎn)換模型。

本公開的第四方面提供一種漫畫風(fēng)格圖像轉(zhuǎn)換裝置，包括：

照片獲取單元，用于獲取待處理的目標照片；

圖像生成單元，用于將待處理的目標照片輸入至預(yù)先訓(xùn)練的漫畫風(fēng)格圖像轉(zhuǎn)換模型，以得到漫畫風(fēng)格的圖像。