[發明專利]視頻生成方法及裝置

在審

• 申請號: 202010864480.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112308950A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 張煒;沙銅;梅濤;周伯文
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/80;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了一種視頻生成方法及裝置。方法的一具體實施方式包括：獲取目標圖像和目標連續姿態序列；將目標圖像和目標連續姿態序列輸入預先訓練的視頻生成模型，生成待處理視頻，其中，待處理視頻表征目標圖像所包括的對象呈現目標連續姿態序列所表征的姿態信息；將待處理視頻輸入預先訓練的連貫性模型，提升待處理視頻的連貫性，得到連貫視頻，從而在視頻生成模型生成的高質量的待處理視頻的各視頻幀的基礎上，通過連貫性模型提升待處理視頻的連貫性，得到高質量和較好連貫性的待處理視頻，提高了生成的視頻的質量和連貫性。

技術領域

本申請實施例涉及計算機技術領域，具體涉及一種視頻生成方法及裝置。

背景技術

人像視頻合成是目前計算機視覺領域中的一個重要課題，可以作為一些視頻分析任務的數據增強方法，并且在很多場景下都有運用，比如電影制作和交互式應用。

目前的人像視頻合成技術主要分成兩種：第一種是基于單一的人像圖片與附加條件，合成一個維持人像外觀的視頻，其中，視頻需要根據附加條件得到對應的動作，附加條件可以是人的動作標簽、人的連續姿態信息等；第二種是基于一個人像視頻與附加條件，合成動作相同的人像的視頻，其中，視頻需要根據附加條件替換人物的屬性，附加條件可以是另一個人像圖片、上衣圖片等。

發明內容

本申請實施例提出了一種視頻生成方法及裝置。

第一方面，本申請實施例提供了一種視頻生成方法，包括：獲取目標圖像和目標連續姿態序列；將目標圖像和目標連續姿態序列輸入預先訓練的視頻生成模型，生成待處理視頻，其中，待處理視頻表征目標圖像所包括的對象呈現目標連續姿態序列所表征的姿態信息，視頻生成模型用于表征目標圖像、目標連續姿態序列與待處理視頻之間的對應關系；將待處理視頻輸入預先訓練的連貫性模型，提升待處理視頻的連貫性，得到連貫視頻，其中，連貫性模型用于表征待處理視頻與連貫視頻的對應關系。

在一些實施例中，上述將目標圖像和目標連續姿態序列輸入預先訓練的視頻生成模型，生成待處理視頻，包括：將目標連續姿態序列拆分成多個單幀姿態信息；針對于多個單幀姿態信息中的每個單幀姿態信息，基于目標圖像，生成與該單幀姿態信息匹配的單幀圖像；根據每個單幀圖像所對應的單幀姿態信息在目標連續姿態序列中的順序，合成包括每個單幀圖像的待處理視頻。

在一些實施例中，上述將待處理視頻輸入預先訓練的連貫性模型，提升待處理視頻的連貫性，得到連貫視頻，包括：將待處理視頻輸入連貫性模型，通過如下方式得到連貫視頻中的每個視頻幀：基于待處理視頻中的目標視頻幀前的預設數量個視頻幀、目標視頻幀以及連貫視頻中該視頻幀前的預設數量個視頻幀，確定連貫視頻中上一視頻幀與該視頻幀之間的光流信息和該視頻幀的預測視頻幀，其中，待處理視頻中的目標視頻幀對應于連貫視頻中的該視頻幀；根據預測圖像和光流信息，得到該視頻幀。

在一些實施例中，視頻生成模型和連貫性模型通過如下方式訓練得到：獲取訓練樣本集，其中，訓練樣本集中的訓練樣本包括：樣本圖像、樣本連續姿態序列和樣本視頻；獲取初始視頻模型，其中，初始視頻模型包括生成網絡和判別網絡，生成網絡包括初始視頻生成模型和初始連貫性模型，用于利用樣本圖像、樣本連續姿態序列生成視頻，判別網絡用于區分生成網絡生成的視頻和樣本視頻；利用機器學習方法，將訓練樣本中的樣本圖像、樣本連續姿態序列作為生成網絡的輸入，將生成網絡生成的視頻、訓練樣本中的樣本視頻作為判別網絡的輸入，對初始視頻模型進行訓練，將訓練后的初始視頻生成模型確定為視頻生成模型，將訓練后的初始連貫性模型確定為連貫性模型。

在一些實施例中，判別網絡包括視頻幀判別網絡和視頻判別網絡，視頻幀判別網絡用于區分生成網絡生成的視頻的視頻幀和樣本視頻的視頻幀，視頻判別網絡用于區分生成網絡生成的視頻和樣本視頻。