[發明專利]神經網絡的訓練方法、生成圖像及視頻的方法和裝置

在審

• 申請號: 202110602135.5
• 申請日: 2021-05-31
• 公開（公告）號: CN113326934A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 魯超
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06T5/00
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 魏小薇;吳麗麗

本公開提供了一種神經網絡的訓練方法、生成圖像及視頻的方法和裝置，涉及圖像及視頻處理技術領域，尤其涉及人工智能技術領域。該方案包括：獲取樣本源圖像和樣本參考圖像，其中，樣本源圖像中包括樣本源對象，樣本參考圖像中包括樣本參考對象；將樣本源圖像和樣本參考圖像輸入圖像生成網絡，獲得圖像生成網絡輸出的預測生成圖像，其中，預測生成圖像中包括樣本源對象，并且預測生成圖像中的樣本源對象的姿態與樣本參考圖像中的樣本參考對象的姿態一致；將預測生成圖像輸入圖像修復網絡，獲得圖像修復網絡輸出的針對預測生成圖像的預測修復圖像；基于樣本參考圖像和預測修復圖像來確定損失值；以及基于損失值來調整圖像修復網絡的參數。

技術領域

本公開涉及圖像及視頻處理技術領域，尤其涉及人工智能技術領域，具體涉及一種神經網絡的訓練方法及裝置、利用神經網絡生成圖像的方法及裝置、利用神經網絡生成視頻的方法及裝置、電子設備、存儲介質和計算機程序產品。

背景技術

隨著短視頻應用(app)的流行，越來越多的用戶開始使用手機等移動終端來拍攝并分享短視頻。在一些情況中，當用戶看到有趣的短視頻時，可能會進行模仿拍攝，即模仿該視頻中的人物的姿態和動作，來拍攝出自己的視頻。但對于大多數用戶來說，模仿拍攝的難度較大，通常難以復現原始視頻中的姿態或動作。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發明內容

本公開提供了一種神經網絡的訓練方法及裝置、利用神經網絡生成圖像的方法及裝置、利用神經網絡生成視頻的方法及裝置、電子設備、存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種由計算機實現的神經網絡的訓練方法，該神經網絡包括圖像生成網絡和圖像修復網絡，該方法包括：獲取樣本源圖像和樣本參考圖像，其中，所述樣本源圖像中包括樣本源對象，所述樣本參考圖像中包括樣本參考對象；將所述樣本源圖像和所述樣本參考圖像輸入所述圖像生成網絡，獲得所述圖像生成網絡輸出的預測生成圖像，其中，所述預測生成圖像中包括所述樣本源對象，并且所述預測生成圖像中的所述樣本源對象的姿態與所述樣本參考圖像中的所述樣本參考對象的姿態一致；將所述預測生成圖像輸入所述圖像修復網絡，獲得所述圖像修復網絡輸出的針對所述預測生成圖像的預測修復圖像；基于所述樣本參考圖像和所述預測修復圖像來確定損失值；以及基于所述損失值來調整所述圖像修復網絡的參數。

根據本公開的另一方面，還提供一種利用神經網絡生成圖像的方法，該神經網絡為根據上述訓練方法進行訓練來得到，并包括圖像生成網絡和圖像修復網絡，該方法包括：將源圖像和參考圖像輸入所述圖像生成網絡，獲得所述圖像生成網絡輸出的生成圖像，其中，所述源圖像中包括源對象，所述參考圖像中包括參考對象，所述生成圖像中包括所述源對象，并且所述生成圖像中的所述源對象的姿態與所述參考圖像中的所述參考對象的姿態一致；將所述生成圖像輸入所述圖像修復網絡，獲得所述圖像修復網絡輸出的針對所述生成圖像的修復圖像；以及將所述修復圖像作為結果圖像。

根據本公開的另一方面，還提供一種利用神經網絡生成視頻的方法，該神經網絡為根據上述訓練方法進行訓練來得到，并包括圖像生成網絡和圖像修復網絡，該方法包括：獲取源圖像和參考視頻，其中，所述源圖像中包括源對象，所述參考視頻包括多個參考圖像幀，每個參考圖像幀中包括參考對象；對于所述多個參考圖像幀中的每一個參考圖像幀，執行以下操作：將所述源圖像和該參考圖像幀輸入所述圖像生成網絡，獲得所述圖像生成網絡輸出的生成圖像，其中，所述生成圖像中包括所述源對象，并且所述生成圖像中的所述源對象的姿態與所述參考圖像幀中的所述參考對象的姿態一致；以及將所述生成圖像輸入所述圖像修復網絡，獲得所述圖像修復網絡輸出的針對所述生成圖像的修復圖像；以及將所述多個參考圖像幀各自對應的多個修復圖像進行拼接，生成結果視頻。