[發(fā)明專利]一種動(dòng)畫視頻自動(dòng)生成方法及其裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910248746.7
• 申請(qǐng)日: 2019-03-29
• 公開(kāi)（公告）號(hào): CN109993820B
• 公開(kāi)（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 劉曉平;陳緣;趙洋;賈偉;李書杰;曹明偉;李琳
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06T13/80
• 分類號(hào): G06T13/80;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開(kāi)了一種動(dòng)畫視頻自動(dòng)生成方法及其裝置，其步驟包括：首先通過(guò)一個(gè)基于生成對(duì)抗網(wǎng)絡(luò)的圖像生成模塊將兩張手繪分鏡草圖轉(zhuǎn)換為對(duì)應(yīng)的動(dòng)畫風(fēng)格的圖像；然后通過(guò)一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模塊預(yù)測(cè)這兩張圖像幀之間的多張圖像幀；再通過(guò)一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的插幀模塊在任意兩張圖像幀之間插入多張圖像幀，將動(dòng)畫視頻的幀率進(jìn)一步提升，最終得到一個(gè)包含多張連續(xù)圖像幀的流暢的動(dòng)畫序列。本發(fā)明能利用少量手繪分鏡草圖直接生成動(dòng)畫視頻，從而使得動(dòng)畫視頻生成過(guò)程更簡(jiǎn)單高效自動(dòng)化。

技術(shù)領(lǐng)域

本發(fā)明涉及動(dòng)畫領(lǐng)域，具體是一種動(dòng)畫視頻自動(dòng)生成方法及其裝置。

背景技術(shù)

動(dòng)畫是一種綜合了繪畫、電影、攝影、音樂(lè)、文學(xué)等眾多藝術(shù)門類于一身的藝術(shù)表現(xiàn)形式，目前大多數(shù)動(dòng)畫的制作都是基于手繪，畫師根據(jù)分鏡腳本繪制出大量手繪線稿草圖后上色，再通過(guò)連續(xù)播放一系列連續(xù)圖像來(lái)完成一段動(dòng)畫的制作。這類方法對(duì)畫師要求較高，需要經(jīng)驗(yàn)豐富的畫師來(lái)完成手繪線稿圖像，同時(shí)對(duì)于一個(gè)精度較高的動(dòng)畫，包含成千上萬(wàn)幀，例如動(dòng)畫長(zhǎng)片電影《至愛(ài)梵高》，導(dǎo)演耗費(fèi)7年時(shí)間集結(jié)了全球125位優(yōu)秀畫師，臨摹了梵高生前120幅經(jīng)典畫作，共繪制了65000幅手繪油畫，才構(gòu)成了最終的95分鐘的成片，這是一個(gè)相當(dāng)耗時(shí)耗力的過(guò)程。近年來(lái)計(jì)算機(jī)視覺(jué)、圖像處理領(lǐng)域的方法，尤其是深度學(xué)習(xí)的方法，可以較好地完成圖像風(fēng)格遷移、視頻插幀等任務(wù)，但這些任務(wù)都是單獨(dú)沒(méi)有形成系統(tǒng)的，僅可以完成生成動(dòng)畫圖像或者對(duì)已有的動(dòng)畫進(jìn)行處理。因此，更簡(jiǎn)單高效自動(dòng)地生成動(dòng)畫具有重要意義。

發(fā)明內(nèi)容

本發(fā)明為克服現(xiàn)有技術(shù)的不足之處，提供一種動(dòng)畫視頻自動(dòng)生成方法及其裝置，以期通過(guò)少量的分鏡草圖即可自動(dòng)生成動(dòng)畫序列，從而使得動(dòng)畫視頻生成過(guò)程更簡(jiǎn)單高效自動(dòng)化。

本發(fā)明為解決技術(shù)問(wèn)題采用如下技術(shù)方案：

本發(fā)明一種動(dòng)畫視頻自動(dòng)生成方法的特點(diǎn)是按如下步驟進(jìn)行：

步驟1：構(gòu)建一個(gè)基于生成對(duì)抗網(wǎng)絡(luò)的圖像生成模塊T：

設(shè)置所述圖像生成模塊T包含一個(gè)生成網(wǎng)絡(luò)G和一個(gè)判別網(wǎng)絡(luò)D；

設(shè)置所述生成網(wǎng)絡(luò)G依次包含兩個(gè)U-Net模塊和一個(gè)ResNet模塊；

設(shè)置任意一個(gè)U-Net模塊包含：m個(gè)由卷積核的大小為n×n的卷積層和ReLU激活函數(shù)層構(gòu)成的卷積模塊、k個(gè)池化模塊、k個(gè)由卷積核的大小為n×n的反卷積層和ReLU激活函數(shù)層構(gòu)成的反卷積模塊；

以每?jī)蓚€(gè)卷積模塊為一組，前(m-2)/4組卷積模塊與k個(gè)池化模塊交替相連，共同組成編碼模塊，后(m-2)/4組卷積模塊與k個(gè)反卷積模塊交替相連，共同組成解碼模塊，從而依次由編碼模塊、解碼模塊和一組卷積模塊形成U-Net模塊；

設(shè)置所述ResNet模塊包括：c個(gè)相同的殘差塊，且任意一個(gè)殘差塊由包含快捷連接的卷積核的大小為n×n的卷積層、批正則化層、ReLU激活函數(shù)層依次構(gòu)成；

設(shè)置所述判別網(wǎng)絡(luò)D包含s個(gè)由卷積核的大小為n×n的卷積層、批正則化層和LeakyReLU激活函數(shù)層構(gòu)成的判別卷積模塊、s個(gè)池化模塊，以及一個(gè)由卷積核的大小為n×n的卷積層、全連接層和Sigmoid激活函數(shù)層構(gòu)成的輸出模塊，其中s個(gè)所述判別卷積模塊與s個(gè)池化模塊交替相連，第s個(gè)池化模塊后與所述輸出模塊相連；

步驟2：構(gòu)建一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模塊P：

設(shè)置所述預(yù)測(cè)模塊P依次包含：p個(gè)所述U-Net模塊、q個(gè)所述ResNet模塊、一個(gè)編碼器模塊和一個(gè)解碼器模塊；

設(shè)置所述編碼器模塊依次包含：h個(gè)由卷積核的大小為n×n的卷積層和ReLU激活函數(shù)層構(gòu)成的模塊；

設(shè)置所述解碼器模塊依次包含：h個(gè)由卷積核的大小為n×n的反卷積層和ReLU激活函數(shù)層構(gòu)成的模塊；

步驟3：構(gòu)建一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的插幀模塊I：