[發(fā)明專利]漫畫視頻生成方法及漫畫生成方法、裝置、設(shè)備、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010590178.1
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111899154A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 雷楊;劉鵬;黃躍中
• 申請(qǐng)（專利權(quán)）人: 廣州夢(mèng)映動(dòng)漫網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T11/00;G06N3/04;H04N21/44
• 代理公司: 重慶渝之知識(shí)產(chǎn)權(quán)代理有限公司 50249
• 代理人: 柴社英

本發(fā)明提供一種漫畫視頻生成方法及漫畫生成方法、裝置、設(shè)備、介質(zhì)，所述的漫畫視頻生成方法包括：將實(shí)際圖片通過訓(xùn)練處理獲取轉(zhuǎn)化漫畫圖片，所述訓(xùn)練處理包括：通過生成器網(wǎng)絡(luò)將實(shí)際圖片生成為轉(zhuǎn)化漫畫圖片，通過鑒別器網(wǎng)絡(luò)將所述轉(zhuǎn)化漫畫圖片進(jìn)行鑒別；根據(jù)所述生成器網(wǎng)絡(luò)的第一對(duì)抗損失訓(xùn)練所述生成器網(wǎng)絡(luò)，根據(jù)生成器網(wǎng)絡(luò)與鑒別器網(wǎng)絡(luò)之間的第二對(duì)抗損失訓(xùn)練所述鑒別器網(wǎng)絡(luò)；將所述實(shí)際圖片通過訓(xùn)練后的所述生成器網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)化，完成漫畫生成。可將漫畫圖片進(jìn)行視頻處理，獲取漫畫視頻，經(jīng)過這個(gè)生成器網(wǎng)絡(luò)與鑒別器網(wǎng)絡(luò)的對(duì)抗訓(xùn)練過程，降低轉(zhuǎn)化漫畫圖片的噪聲，提高轉(zhuǎn)化效果。

技術(shù)領(lǐng)域

本發(fā)明涉及電子技術(shù)，特別是涉及一種短視頻生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著短視頻的興起和傳播，用戶對(duì)拍攝出不同風(fēng)格、樣式的短視頻的需求日益增大，其中，漫畫風(fēng)格的短視頻尤其受到用戶青睞。目前，漫畫風(fēng)格的短視頻存在生成效果不佳、不夠逼近真實(shí)漫畫效果等問題。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供高效的漫畫生成方法，用于解決漫畫風(fēng)格短視頻創(chuàng)作的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種漫畫生成方法，包括：將實(shí)際圖片通過訓(xùn)練處理獲取轉(zhuǎn)化漫畫圖片，所述訓(xùn)練處理包括：通過生成器網(wǎng)絡(luò)將實(shí)際圖片生成為轉(zhuǎn)化漫畫圖片，通過鑒別器網(wǎng)絡(luò)將所述轉(zhuǎn)化漫畫圖片進(jìn)行鑒別；根據(jù)所述生成器網(wǎng)絡(luò)的第一對(duì)抗損失訓(xùn)練所述生成器網(wǎng)絡(luò)，根據(jù)生成器網(wǎng)絡(luò)與鑒別器網(wǎng)絡(luò)之間的第二對(duì)抗損失訓(xùn)練所述鑒別器網(wǎng)絡(luò)；將所述實(shí)際圖片通過訓(xùn)練后的所述生成器網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)化，完成漫畫生成。

可選的，所述生成器網(wǎng)絡(luò)包括用于將實(shí)際圖片生成為轉(zhuǎn)化漫畫圖片的第一生成器子網(wǎng)絡(luò)和用于轉(zhuǎn)化漫畫圖片生成為轉(zhuǎn)化實(shí)際圖片的第二生成器子網(wǎng)絡(luò)，所述鑒別器網(wǎng)絡(luò)包括用于鑒別轉(zhuǎn)化漫畫圖片是否為真漫畫的第一鑒別器子網(wǎng)絡(luò)和用于鑒別轉(zhuǎn)化實(shí)際圖片是否為真的實(shí)際圖片的第二鑒別器子網(wǎng)絡(luò)。

可選的，所述生成器網(wǎng)絡(luò)的處理過程包括：鏡像填充處理、卷積處理、激活處理、歸一化處理、殘差處理。

可選的，所述鑒別器網(wǎng)絡(luò)的處理過程包括：鏡像填充處理、卷積處理、激活處理、歸一化處理。

可選的，所述第二對(duì)抗損失包括：

l_ab＝(1-D_b(Target))²+(D_b(G_ab(Real)))²

l_ba＝(1-D_a(Real))²+(D_a(G_ba(Target)))²

其中，l_ab和l_ba分別表示第一鑒別器子網(wǎng)絡(luò)Da、第二鑒別器子網(wǎng)絡(luò)Db對(duì)轉(zhuǎn)化漫畫圖片、轉(zhuǎn)化實(shí)際圖片的鑒別能力，Real表示實(shí)際圖片，Target表示轉(zhuǎn)化漫畫圖片，Gab和Gba分別表示第一生成器子網(wǎng)絡(luò)和第二生成器子網(wǎng)絡(luò)。

可選的，所述第二對(duì)抗損失包括變分損失，所述變分損失包括：

其中，l_tvab表示第一變分損失，l_tvba表示第二變分損失，分別表示對(duì)第一生成器子網(wǎng)絡(luò)Gab和第二生成器子網(wǎng)絡(luò)Gba的結(jié)果求x、y方向梯度，Real表示實(shí)際圖片，Target表示轉(zhuǎn)化漫畫圖片，γ為常量。

可選的，所述第二對(duì)抗損失包括內(nèi)容損失，所述內(nèi)容損失包括：