[發明專利]視頻生成方法及裝置、電子設備和存儲介質

有效

• 申請號: 201810708738.1
• 申請日: 2018-07-02
• 公開（公告）號: CN108881952B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 郭家明;盛律;邵婧
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N19/172;H04N19/149;H04N19/132
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種視頻生成方法及裝置、電子設備和存儲介質，所述方法包括：將待處理圖像輸入編碼模型進行處理，獲得待處理圖像的編碼；對編碼進行高斯分布采樣，獲得待處理圖像的隨機噪聲；將隨機噪聲和編碼輸入光流生成模型，獲得待處理圖像的后向光流；根據后向光流和待處理圖像，生成以待處理圖像為首個視頻幀的視頻流。根據本公開的實施例的視頻生成方法，通過對待處理圖像的編碼進行采樣，并將采樣獲得的隨機噪聲以及待處理圖像的編碼進行處理，產生待處理圖像的后向光流，可基于后向光流來獲得待處理圖像的后續視頻幀。能夠通過一幀待處理圖像來生成動態圖或短視頻。

技術領域

本公開涉及計算機技術領域，尤其涉及一種視頻生成方法及裝置、電子設備和存儲介質。

背景技術

在相關技術中，可根據多幀圖像來預測圖像中的目標的運動軌跡，進而生成這些圖像的后續視頻幀，使圖像中展示的畫面具有連續性。在一幀圖像中，圖像中的目標的運動軌跡通常具有較大的隨機性，因此，目標的運動軌跡難以預測，僅通過一幀圖像來生成多個連續的視頻幀難以實現。

發明內容

針對上述問題，本公開提出了一種視頻生成方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種視頻生成方法，包括：

將待處理圖像輸入編碼模型進行處理，獲得所述待處理圖像的編碼；

對所述編碼進行高斯分布采樣，獲得所述待處理圖像的隨機噪聲；

將所述隨機噪聲和所述編碼輸入光流生成模型進行處理，獲得所述待處理圖像的后向光流；

根據所述后向光流和所述待處理圖像，生成以待處理圖像為首個視頻幀的視頻流，其中，所述視頻流包括所述待處理圖像與所述待處理圖像的后續視頻幀。

在一種可能的實現方式中，所述編碼模型的訓練過程包括：

將訓練視頻流的第一訓練圖像輸入初始編碼模型進行處理，獲得所述第一訓練圖像的編碼，其中，所述訓練視頻流由第一訓練圖像和第一訓練圖像的第一后續視頻幀組成，所述第一訓練圖像為訓練視頻流的首個視頻幀；

對所述第一訓練圖像的編碼進行高斯分布采樣，獲得所述第一訓練圖像的隨機噪聲；

將所述第一訓練圖像的編碼和所述第一訓練圖像的隨機噪聲輸入初始光流生成模型，獲得訓練光流；

根據訓練光流和訓練視頻流，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失；

根據所述綜合模型損失調整所述初始編碼模型，獲得調整后的編碼模型；

當滿足訓練條件時，將調整后的編碼模型作為所述編碼模型。

在一種可能的實現方式中，所述光流生成模型的訓練過程包括：

將訓練視頻流的第一訓練圖像輸入初始編碼模型進行處理，獲得所述第一訓練圖像的編碼，其中，所述訓練視頻流由第一訓練圖像和第一訓練圖像的第一后續視頻幀組成，所述第一訓練圖像為訓練視頻流的首個視頻幀；

對所述第一訓練圖像的編碼進行高斯分布采樣，獲得所述第一訓練圖像的隨機噪聲；

將所述第一訓練圖像的編碼和所述第一訓練圖像的隨機噪聲輸入初始光流生成模型，獲得訓練光流；

根據訓練光流和訓練視頻流，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失；

根據所述綜合模型損失調整所述初始光流生成模型，獲得調整后的光流生成模型；

當滿足訓練條件時，將調整后的光流生成模型作為所述光流生成模型。