[發(fā)明專利]視頻的插幀方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010412447.5
• 申請日: 2020-05-15
• 公開（公告）號(hào): CN111654746B
• 公開（公告）日: 2022-01-21
• 發(fā)明（設(shè)計(jì)）人: 李超;丁予康;何棟梁;李甫;孫昊;文石磊;章宏武;丁二銳
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/4402
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

1.一種視頻的插幀方法，包括：

獲取視頻；

獲取所述視頻之中的第i-1幀圖像和第i幀圖像，其中，i為正整數(shù)；

分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖，其中，通過預(yù)設(shè)的語義分割網(wǎng)絡(luò)分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖；

將所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖拼接整合到一起，輸入到預(yù)設(shè)的插幀網(wǎng)絡(luò)以生成插幀信息；以及

根據(jù)所述插幀信息和所述第i-1幀圖像生成所述第i-1幀圖像和所述第i幀圖像之間的插幀，并插入所述第i-1幀圖像和所述第i幀圖像之間。

2.如權(quán)利要求1所述的視頻的插幀方法，其中，所述根據(jù)所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖生成插幀信息，包括：

根據(jù)所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖生成所述插幀的視覺語義特征圖；

根據(jù)所述第i-1幀圖像和所述第i幀圖像的深度信息圖生成所述插幀的深度信息圖；以及

根據(jù)所述插幀的視覺語義特征圖和所述深度信息圖生成所述插幀信息。

3.如權(quán)利要求1或2所述的視頻的插幀方法，還包括：

分別獲取所述第i-1幀圖像和所述第i幀圖像的深層特征圖；以及

根據(jù)所述第i-1幀圖像和所述第i幀圖像的深層特征圖生成所述插幀的深層特征圖，其中，所述插幀信息還包括所述插幀的深層特征圖。

4.如權(quán)利要求3所述的視頻的插幀方法，其中，通過插幀模型生成所述插幀的插幀信息。

5.如權(quán)利要求4所述的視頻的插幀方法，其中，所述插幀模型通過以下方式生成：

獲取樣本視頻；

獲取所述樣本視頻的第t-1幀圖像、第t幀圖像和第t+1幀圖像；

分別獲取所述第t-1幀圖像、所述第t幀圖像和所述第t+1幀圖像的視覺語義特征圖和深度信息圖；以及

將所述第t-1幀圖像和所述第t+1幀圖像的視覺語義特征圖和深度信息圖輸入所述插幀模型，并將所述第t幀圖像作為目標(biāo)插幀對所述插幀模型進(jìn)行訓(xùn)練。

6.如權(quán)利要求5所述的視頻的插幀方法，其中，所述樣本視頻為第一幀率，所述視頻為第二幀率，所述第一幀率大于所述第二幀率，且視頻插幀之后為所述第一幀率。

7.一種視頻的插幀裝置，包括：

第一獲取模塊，用于獲取視頻；

第二獲取模塊，用于獲取所述視頻之中的第i-1幀圖像和第i幀圖像，其中，i為正整數(shù)；

第三獲取模塊，用于分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖，其中，通過預(yù)設(shè)的語義分割網(wǎng)絡(luò)分別獲取所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖；

第一生成模塊，用于將所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖和深度信息圖拼接整合到一起，輸入到預(yù)設(shè)的插幀網(wǎng)絡(luò)以生成插幀信息；以及

插幀模塊，用于根據(jù)所述插幀信息和所述第i-1幀圖像生成所述第i-1幀圖像和所述第i幀圖像之間的插幀，并插入所述第i-1幀圖像和所述第i幀圖像之間。

8.如權(quán)利要求7所述的視頻的插幀裝置，其中，所述第一生成模塊，包括：

第一生成單元，用于根據(jù)所述第i-1幀圖像和所述第i幀圖像的視覺語義特征圖生成所述插幀的視覺語義特征圖；

第二生成單元，用于根據(jù)所述第i-1幀圖像和所述第i幀圖像的深度信息圖生成所述插幀的深度信息圖；以及

第三生成單元，用于根據(jù)所述插幀的視覺語義特征圖和所述深度信息圖生成所述插幀信息。

9.如權(quán)利要求7或8所述的視頻的插幀裝置，還包括：

第四獲取模塊，用于分別獲取所述第i-1幀圖像和所述第i幀圖像的深層特征圖；

第二生成模塊，用于根據(jù)所述第i-1幀圖像和所述第i幀圖像的深層特征圖生成所述插幀的深層特征圖，其中，所述插幀信息還包括所述插幀的深層特征圖。