[發明專利]一種使用圖像生成視頻的方法、裝置以及存儲介質

在審

• 申請號: 202210359091.2
• 申請日: 2022-04-07
• 公開（公告）號: CN114694074A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 周璋鵬;柴京;宋強;張凱程;劉強;袁業;張翔;謝石木林;林平遠;張志宏;劉旭杰;湯澤毅;粘為帆;許倩
• 申請（專利權）人: 國網甘肅省電力公司超高壓公司;國網信通億力科技有限責任公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 張銳

1.一種使用圖像生成視頻的方法，其特征在于，包括：

S1，獲取多個樣本視頻，對所述樣本視頻進行采樣，得到多個連續的視頻幀序列，將多個所述視頻幀序列構建為訓練數據集；

S2，采用變分自編碼器VAE生成圖像，所述變分自編碼器包含編碼器模型和解碼器模型，將所述訓練數據集內的其中一個所述視頻幀序列輸入所述編碼器模型，輸出與所述輸入視頻幀序列對應的特征序列，將所述特征序列和預設的目標特征向量輸入所述解碼器模型，輸出第一視頻幀序列；

S3，選擇基于U-net卷積神經網絡實現的精化網絡R，將步驟S2中所述視頻幀序列包含的其中一個視頻幀和所述第一視頻幀序列輸入所述精化網絡R，輸出第二視頻幀序列；

S4，基于生成式對抗網絡GAN模型搭建VAE-RGAN模型，所述VAE-RGAN模型包含生成器G和鑒別器D，將步驟S2的所述變分自編碼器和步驟S3的所述精化網絡R作為所述生成器G，將步驟S2中所述視頻幀序列和所述第二視頻幀序列輸入所述鑒別器D，獲取所述鑒別器D預測的所述第二視頻幀序列的真假信息；

S5，使用所述訓練數據集對所述VAE-RGAN模型進行訓練，直到所述鑒別器D預測的結果為真，得到訓練好的VAE-RGAN模型；

S6，獲取基礎圖像、與所述基礎圖像關聯的特征序列和待生成視頻的目標特征向量；

S7，將所述基礎圖像、與所述基礎圖像關聯的特征序列和所述待生成視頻的目標特征向量輸入所述訓練好的VAE-RGAN模型，生成第三視頻幀序列，將所述第三視頻幀序列包含的所有視頻幀連接起來，得到所述待生成視頻。

2.根據權利要求1所述的方法，其特征在于，所述編碼器模型包含第一編碼器E_m和第二編碼器E_c，所述第一編碼器E_m用于提取視頻幀的運動信息，所述第二編碼器E_c用于提取視頻幀的語義信息。

3.根據權利要求2所述的方法，其特征在于，所述第一編碼器E_m采用5層3維的卷積層和1層2維的卷積層以及一個線性方程來提取所述視頻幀的512維的隱層變量，所述隱層變量包含了所述視頻幀的運動信息。

4.根據權利要求2所述的方法，其特征在于，所述第二編碼器E_c使用4層2維的卷積層來提取所述視頻幀的語義信息，每個提取特征的通道分別由256、128、64和32個單元組成。

5.根據權利要求1所述的方法，其特征在于，所述解碼器模型基于長短期記憶網絡LSTM實現。

6.根據權利要求5所述的方法，其特征在于，所述解碼器模型包含主解碼器通道和輔助解碼器通道，所述主解碼器通道由四個二維反卷積模塊和兩個三維卷積層組成，所述輔助解碼器通道由四個二維反卷積模塊組成，每個二維反卷積模塊由兩個二維卷積層和一個上采樣算子組成。