[發(fā)明專(zhuān)利]一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210047517.0
• 申請(qǐng)日: 2022-01-17
• 公開(kāi)（公告）號(hào): CN114387159A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 曹杰;劉金良;王昌輝;尹文堯;孫熙銘;周迅磊;陳志杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 云境商務(wù)智能研究院南京有限公司
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00;G06T15/20;G06N3/04;G06N3/08
• 代理公司: 南京天華專(zhuān)利代理有限責(zé)任公司 32218
• 代理人: 劉暢;徐冬濤

本發(fā)明提供了一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)，所述生成系統(tǒng)流程包括，首先搭建系統(tǒng)所使用的神經(jīng)網(wǎng)絡(luò)模型；從數(shù)據(jù)庫(kù)中取出內(nèi)容圖像和風(fēng)格參考圖像作為訓(xùn)練集；對(duì)風(fēng)格參考圖像和內(nèi)容圖像進(jìn)行圖像預(yù)處理；計(jì)算總損失(內(nèi)容損失和風(fēng)格損失)；根據(jù)計(jì)算的總損失，計(jì)算梯度并更新輸入圖像；最終將訓(xùn)練好的模型體系結(jié)構(gòu)及其參數(shù)進(jìn)行保存；系統(tǒng)加載模型體系結(jié)構(gòu)及其參數(shù)，之后用戶(hù)選擇游戲內(nèi)的風(fēng)格；系統(tǒng)將游戲視頻的每一幀的圖像輸入模型；將所述模型的輸出進(jìn)行渲染后復(fù)制到屏幕上進(jìn)行顯示，實(shí)時(shí)地提供不同風(fēng)格的虛擬游戲場(chǎng)景。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)領(lǐng)域，主要設(shè)計(jì)一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)。

背景技術(shù)

神經(jīng)風(fēng)格轉(zhuǎn)移技術(shù)可以使用深度學(xué)習(xí)以另一幅圖像的風(fēng)格來(lái)創(chuàng)作圖像。神經(jīng)風(fēng)格轉(zhuǎn)移技術(shù)的特點(diǎn)是利用深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行圖形變換，將一種圖像的風(fēng)格(如畢加索)轉(zhuǎn)移到用戶(hù)所提供的照片上。這種方法已經(jīng)被世界各地的藝術(shù)家和設(shè)計(jì)師使用，在原有的風(fēng)格的技術(shù)上開(kāi)發(fā)新的藝術(shù)品。

本發(fā)明則在該項(xiàng)技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)，將該項(xiàng)技術(shù)應(yīng)用到游戲上來(lái)。根據(jù)用戶(hù)的喜好，來(lái)為用戶(hù)創(chuàng)建一個(gè)定制的交互環(huán)境，進(jìn)一步增強(qiáng)用戶(hù)的游戲體驗(yàn)。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明提供了一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)，根據(jù)用戶(hù)的選擇，來(lái)對(duì)游戲的基礎(chǔ)背景視頻實(shí)時(shí)地進(jìn)行神經(jīng)風(fēng)格轉(zhuǎn)移，創(chuàng)建不一樣的游戲體驗(yàn)環(huán)境。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種多風(fēng)格的游戲內(nèi)風(fēng)格轉(zhuǎn)移系統(tǒng)，包括以下步驟：

步驟S1、首先搭建系統(tǒng)所使用的神經(jīng)網(wǎng)絡(luò)模型；

步驟S2、從數(shù)據(jù)庫(kù)中取出內(nèi)容圖像和風(fēng)格參考圖像作為訓(xùn)練集；

步驟S3、對(duì)風(fēng)格參考圖像和內(nèi)容圖像進(jìn)行圖像預(yù)處理；

步驟S4、計(jì)算總損失(內(nèi)容損失和風(fēng)格損失)；

步驟S5、根據(jù)計(jì)算的總損失，計(jì)算梯度并更新輸入圖像

步驟S6、重復(fù)執(zhí)行步驟S3-S5,最終將訓(xùn)練好的模型體系結(jié)構(gòu)及其參數(shù)進(jìn)行保存；

步驟S7、系統(tǒng)加載模型體系結(jié)構(gòu)及其參數(shù)，之后用戶(hù)選擇游戲內(nèi)的風(fēng)格；

步驟S8、系統(tǒng)將游戲視頻的每一幀的圖像輸入模型；

步驟S9、將所述模型的輸出進(jìn)行渲染后復(fù)制到屏幕上進(jìn)行顯示；

步驟S10、重復(fù)執(zhí)行步驟S8-S9，實(shí)時(shí)地提供不同風(fēng)格的虛擬游戲場(chǎng)景；

進(jìn)一步地，所述步驟S1、搭建系統(tǒng)所使用的模型具體步驟如下：

步驟S1.1、選擇系統(tǒng)所需要的深度學(xué)習(xí)模型(如VGG16,VGG19等)；

步驟S1.2、去掉所述深度學(xué)習(xí)模型的頂層并加載參數(shù)；

步驟S1.3、選擇所述深度學(xué)習(xí)模型的若干卷積層作為內(nèi)容中間層；

步驟S1.4、選擇所述深度學(xué)習(xí)模型的若干卷積層作為風(fēng)格中間層；

步驟S1.5、以所述深度學(xué)習(xí)模型的輸入作為新模型的輸入，所述內(nèi)容中間層和風(fēng)格中間層的輸出作為新模型的輸出構(gòu)建新模型。

進(jìn)一步地，所述步驟S2、從數(shù)據(jù)庫(kù)中取出內(nèi)容圖像和風(fēng)格參考圖像作為訓(xùn)練集的具體步驟如下：

所述的內(nèi)容圖像指從視頻和動(dòng)畫(huà)電影中獲得的圖像，所述風(fēng)格參考圖像指畫(huà)家的繪畫(huà)圖像；

進(jìn)一步地，所述步驟S3、對(duì)所述風(fēng)格參考圖像和內(nèi)容圖像進(jìn)行圖像預(yù)處理的具體步驟如下：