[發(fā)明專利]視頻生成方法及裝置、電子設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810708738.1
• 申請日: 2018-07-02
• 公開（公告）號: CN108881952B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 郭家明;盛律;邵婧
• 申請（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;H04N19/172;H04N19/149;H04N19/132
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種視頻生成方法，其特征在于，所述方法包括：

將待處理圖像輸入編碼模型進(jìn)行處理，獲得所述待處理圖像的編碼；

對所述編碼進(jìn)行高斯分布采樣，獲得所述待處理圖像的隨機(jī)噪聲；

將所述隨機(jī)噪聲和所述編碼輸入光流生成模型進(jìn)行處理，獲得所述待處理圖像的后向光流，其中，所述光流生成模型包括神經(jīng)網(wǎng)絡(luò)模型，所述光流生成模型用于根據(jù)隨機(jī)噪聲和所述待處理圖像的編碼，確定所述待處理圖像的后向光流；

根據(jù)所述后向光流和所述待處理圖像，生成以待處理圖像為首個視頻幀的視頻流，其中，所述視頻流包括所述待處理圖像與所述待處理圖像的后續(xù)視頻幀。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼模型的訓(xùn)練過程包括：

將訓(xùn)練視頻流的第一訓(xùn)練圖像輸入初始編碼模型進(jìn)行處理，獲得所述第一訓(xùn)練圖像的編碼，其中，所述訓(xùn)練視頻流由第一訓(xùn)練圖像和第一訓(xùn)練圖像的第一后續(xù)視頻幀組成，所述第一訓(xùn)練圖像為訓(xùn)練視頻流的首個視頻幀；

對所述第一訓(xùn)練圖像的編碼進(jìn)行高斯分布采樣，獲得所述第一訓(xùn)練圖像的隨機(jī)噪聲；

將所述第一訓(xùn)練圖像的編碼和所述第一訓(xùn)練圖像的隨機(jī)噪聲輸入初始光流生成模型，獲得訓(xùn)練光流；

根據(jù)訓(xùn)練光流和訓(xùn)練視頻流，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失；

根據(jù)所述綜合模型損失調(diào)整所述初始編碼模型，獲得調(diào)整后的編碼模型；

當(dāng)滿足訓(xùn)練條件時，將調(diào)整后的編碼模型作為所述編碼模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述光流生成模型的訓(xùn)練過程包括：

將訓(xùn)練視頻流的第一訓(xùn)練圖像輸入初始編碼模型進(jìn)行處理，獲得所述第一訓(xùn)練圖像的編碼，其中，所述訓(xùn)練視頻流由第一訓(xùn)練圖像和第一訓(xùn)練圖像的第一后續(xù)視頻幀組成，所述第一訓(xùn)練圖像為訓(xùn)練視頻流的首個視頻幀；

對所述第一訓(xùn)練圖像的編碼進(jìn)行高斯分布采樣，獲得所述第一訓(xùn)練圖像的隨機(jī)噪聲；

將所述第一訓(xùn)練圖像的編碼和所述第一訓(xùn)練圖像的隨機(jī)噪聲輸入初始光流生成模型，獲得訓(xùn)練光流；

根據(jù)訓(xùn)練光流和訓(xùn)練視頻流，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失；

根據(jù)所述綜合模型損失調(diào)整所述初始光流生成模型，獲得調(diào)整后的光流生成模型；

當(dāng)滿足訓(xùn)練條件時，將調(diào)整后的光流生成模型作為所述光流生成模型。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，對所述第一訓(xùn)練圖像的編碼進(jìn)行高斯分布采樣，獲得所述第一訓(xùn)練圖像的隨機(jī)噪聲，包括：

將所述訓(xùn)練視頻流輸入運動識別模型，獲得用于高斯分布采樣的均值和方差；

根據(jù)所述均值和方差，對所述第一訓(xùn)練圖像的編碼進(jìn)行高斯分布采樣，獲得所述第一訓(xùn)練圖像的隨機(jī)噪聲。

5.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述訓(xùn)練光流包括前向訓(xùn)練光流和后向訓(xùn)練光流，

其中，根據(jù)訓(xùn)練光流和訓(xùn)練視頻流，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失，包括：

根據(jù)后向訓(xùn)練光流和所述第一訓(xùn)練圖像，生成第二后續(xù)視頻幀；

根據(jù)前向訓(xùn)練光流和第一后續(xù)視頻幀，生成所述第一后續(xù)視頻幀的第二訓(xùn)練圖像，其中，所述第二訓(xùn)練圖像是所述第一后續(xù)視頻幀之前的視頻幀；

根據(jù)所述訓(xùn)練光流、第一訓(xùn)練圖像、第二訓(xùn)練圖像、第一后續(xù)視頻幀和第二后續(xù)視頻幀，確定所述初始編碼模型和所述初始光流生成模型的綜合模型損失。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)前向訓(xùn)練光流和第一后續(xù)視頻幀，生成所述第一后續(xù)視頻幀的第二訓(xùn)練圖像，包括：

根據(jù)各第一后續(xù)視頻幀以及分別與各第一后續(xù)視頻幀對應(yīng)的前向訓(xùn)練光流，分別生成與各第一后續(xù)視頻幀對應(yīng)的初始第二訓(xùn)練圖像；

將各初始第二訓(xùn)練圖像中的像素點的位置向量進(jìn)行雙線性插值，獲得所述第二訓(xùn)練圖像。