[發明專利]視頻插幀處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110422224.1
• 申請日: 2021-04-20
• 公開（公告）號: CN112995715B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 祝葉;李昱;王鑫濤;羅越;單瀛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

1.一種視頻插幀處理方法，其特征在于，所述方法包括：

從視頻中獲取第一視頻幀和第二視頻幀，其中，所述第一視頻幀是所述第二視頻幀的前向幀；

獲取從所述第一視頻幀到所述第二視頻幀的第一后向光流，基于所述第一后向光流，確定從所述第一視頻幀的第一時刻到中間時刻的第二后向光流，其中，所述中間時刻是所述第一時刻和所述第二視頻幀的第二時刻之間的任意值；

基于所述第二后向光流，對所述第一視頻幀以及所述第一視頻幀對應的第一參考信息進行前向映射處理，得到第一前向映射視頻幀以及第一前向映射參考信息；其中，所述第一參考信息包括以下至少之一：所述第一視頻幀對應的第一特征圖像、所述第一視頻幀對應的第一邊緣圖像；

獲取從所述第二視頻幀到所述第一視頻幀的第一前向光流，基于所述第一前向光流，確定從所述第二時刻到所述中間時刻的第二前向光流；

基于所述第二前向光流，對所述第二視頻幀以及所述第二視頻幀對應的第二參考信息進行前向映射處理，得到第二前向映射視頻幀以及第二前向映射參考信息；其中，所述第二參考信息包括以下至少之一：所述第二視頻幀對應的第二特征圖像、所述第二視頻幀對應的第二邊緣圖像；

將所述第一前向映射視頻幀、所述第一前向映射參考信息、所述第二前向映射視頻幀以及所述第二前向映射參考信息組合為前向映射結果；

基于所述第一前向光流，確定從所述中間時刻到所述第二時刻的第三后向光流，并基于所述第三后向光流，對所述第二視頻幀以及所述第二視頻幀對應的第二參考信息進行反向映射處理，得到第一反向映射視頻幀以及第一反向映射參考信息；

基于所述第一后向光流，確定從所述中間時刻到所述第一時刻的第三前向光流，并基于所述第三前向光流，對所述第一視頻幀以及所述第一視頻幀對應的第一參考信息進行反向映射處理，得到第二反向映射視頻幀以及第二反向映射參考信息；

將所述第一反向映射視頻幀、所述第一反向映射參考信息、所述第二反向映射視頻幀以及所述第二反向映射參考信息組成為反向映射結果；

基于所述前向映射結果和所述反向映射結果進行融合處理，得到第三視頻幀，將所述第三視頻幀插入到所述視頻的所述第一視頻幀和所述第二視頻幀之間。

2.根據權利要求1所述的方法，其特征在于，所述基于所述前向映射結果和所述反向映射結果進行融合處理，得到第三視頻幀，包括：

對所述前向映射結果進行編碼處理，得到前向中間特征；

對所述反向映射結果進行編碼處理，得到反向中間特征；

對所述前向中間特征和所述反向中間特征進行融合處理，得到融合中間特征；

對所述融合中間特征進行解碼處理，得到第三視頻幀。

3.根據權利要求2所述的方法，其特征在于，

所述對所述前向映射結果進行編碼處理，得到前向中間特征，包括：

對所述前向映射結果進行下采樣處理，得到不同分辨率尺度的前向映射結果；

分別對每個所述分辨率尺度的前向映射結果進行編碼處理，得到對應分辨率尺度的前向中間特征；

所述對所述反向映射結果進行編碼處理，得到反向中間特征，包括：

對所述反向映射結果進行下采樣處理，得到不同分辨率尺度的反向映射結果；

分別對每個所述分辨率尺度的反向映射結果進行編碼處理，得到對應分辨率尺度的反向中間特征；

所述對所述前向中間特征和所述反向中間特征進行融合處理，得到融合中間特征，包括：

將相同分辨率尺度的前向中間特征和反向中間特征進行融合處理，得到多個不同分辨率尺度的融合中間特征。