[發(fā)明專利]一種使用圖像生成視頻的方法、裝置以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210359091.2
• 申請日: 2022-04-07
• 公開（公告）號: CN114694074A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 周璋鵬;柴京;宋強;張凱程;劉強;袁業(yè);張翔;謝石木林;林平遠;張志宏;劉旭杰;湯澤毅;粘為帆;許倩
• 申請（專利權(quán)）人: 國網(wǎng)甘肅省電力公司超高壓公司;國網(wǎng)信通億力科技有限責任公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 廈門市精誠新創(chuàng)知識產(chǎn)權(quán)代理有限公司 35218
• 代理人: 張銳

本發(fā)明公開了一種使用圖像生成視頻的方法，所述方法包括：獲取包含多個視頻幀序列的訓(xùn)練數(shù)據(jù)集；基于生成式對抗網(wǎng)絡(luò)GAN模型搭建VAE?RGAN模型，VAE?RGAN模型包含生成器G和鑒別器D，將變分自編碼器VAE和基于U?net卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的精化網(wǎng)絡(luò)R作為生成器G；使用訓(xùn)練數(shù)據(jù)集對VAE?RGAN模型進行訓(xùn)練，得到訓(xùn)練好的VAE?RGAN模型；將基礎(chǔ)圖像、與基礎(chǔ)圖像關(guān)聯(lián)的特征序列和待生成視頻的目標特征向量輸入訓(xùn)練好的VAE?RGAN模型，生成目標視頻幀序列，將目標視頻幀序列包含的所有視頻幀連接起來，得到待生成視頻。本發(fā)明提供的使用圖像生成視頻的方法和裝置，能夠通過輸入首幀圖像與包含運動特征的嵌入向量進行圖像的定向內(nèi)容生成，解決了生成的視頻不連貫、丟幀和模糊等問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種使用圖像生成視頻的方法、裝置以及存儲介質(zhì)。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，近年來，在計算機視覺領(lǐng)域，各類針對圖像處理的技術(shù)層出不窮，并且在多種應(yīng)用場景下具有優(yōu)秀的表現(xiàn)。而圖像到視頻的生成一直是計算機視覺領(lǐng)域致力于解決的問題，對于多媒體的內(nèi)容生成而言，一段完整視頻的生成可以看成是由多幀的、連續(xù)的和具有關(guān)聯(lián)內(nèi)容的圖像疊加而成，但是若僅僅通過對圖像的卷積處理進行簡單的多幀疊加，無法得到令人滿意的結(jié)果。

關(guān)于圖像到視頻的預(yù)測生成的傳統(tǒng)方法，主要是使用變分自動編碼器(VAE，Variational Autoencoder)，首先將單幀圖像輸入到編碼器中，使用多層次的卷積神經(jīng)網(wǎng)絡(luò)對圖像的特征進行抽取編碼，再通過解碼器，即逆向的多層卷積進行還原，通過低維參數(shù)學(xué)習(xí)到單幀圖像的高維特征，以此來達成對視頻中的運動隨機性進行建模，利用均方誤差(MSE，Mean Square Error)作為損失函數(shù)，去最小化像素級別的損失，從而生成與前幀圖像具有一定相關(guān)性的未來幀，但是MSE的使用，本質(zhì)上是對各幀像素點進行一個平均化操作，這就會導(dǎo)致生成的預(yù)測視頻里的各幀圖像的清晰度不足。

后來，隨著生成式對抗網(wǎng)絡(luò)(GAN，Generative Adversarial Networks)技術(shù)的提出，人們開始嘗試著使用GAN技術(shù)來進行視頻的預(yù)測。GAN通過生成器、鑒別器組合的方式，生成器以對抗博弈為理論基礎(chǔ)，經(jīng)過大量的訓(xùn)練與學(xué)習(xí)之后，能夠生成人們想要的高維圖像內(nèi)容。但是由于GAN具有梯度不穩(wěn)定和模型易坍塌的局限性，在視頻生成的任務(wù)上會導(dǎo)致生成未來幀容易含有過多的第一幀的信息，導(dǎo)致視頻運動狀態(tài)不明顯，表現(xiàn)力差。

近期，有人將VAE與GAN進行結(jié)合，使用VAE-GAN技術(shù)來進行視頻的預(yù)測生成，雖然改善了由GAN指導(dǎo)的視頻生成的模型坍塌的局限性，成功地嵌入了行為內(nèi)容信息，但是并沒有完全解決由VAE單調(diào)的損失函數(shù)導(dǎo)致的視頻模糊、丟幀、不連貫等問題。現(xiàn)有的VAE-GAN方法中的圖像生成器很難生成高質(zhì)量高清晰度的連貫視頻，視頻的生成本質(zhì)上是一個非常困難的任務(wù)，并且在只有一個輸入，無法提供有效的行為內(nèi)容信息的情況下，視頻生成的清晰度以及模型的穩(wěn)定度很難得到保障。

發(fā)明內(nèi)容

為了克服如上所述的技術(shù)問題，本發(fā)明提出一種使用圖像生成視頻的方法，所述方法的技術(shù)方案如下：

S1，獲取多個樣本視頻，對所述樣本視頻進行采樣，得到多個連續(xù)的視頻幀序列，將多個所述視頻幀序列構(gòu)建為訓(xùn)練數(shù)據(jù)集；

S2，采用變分自編碼器VAE生成圖像，所述變分自編碼器包含編碼器模型和解碼器模型，將所述訓(xùn)練數(shù)據(jù)集內(nèi)的其中一個所述視頻幀序列輸入所述編碼器模型，輸出與所述輸入視頻幀序列對應(yīng)的特征序列，將所述特征序列和預(yù)設(shè)的目標特征向量輸入所述解碼器模型，輸出第一視頻幀序列；

S3，選擇基于U-net卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的精化網(wǎng)絡(luò)R，將步驟S2中所述視頻幀序列包含的其中一個視頻幀和所述第一視頻幀序列輸入所述精化網(wǎng)絡(luò)R，輸出第二視頻幀序列；