[發明專利]視頻插幀處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110422224.1
• 申請日: 2021-04-20
• 公開（公告）號: CN112995715B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 祝葉;李昱;王鑫濤;羅越;單瀛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

本申請提供了一種視頻插幀處理方法、裝置、電子設備及計算機可讀存儲介質，涉及云技術在視頻處理領域的應用；方法包括：從視頻中獲取第一視頻幀和第二視頻幀，其中，第一視頻幀是第二視頻幀的前向幀；獲取從第一視頻幀到第二視頻幀的第一后向光流，基于第一后向光流進行前向映射處理，得到前向映射結果；獲取從第二視頻幀到第一視頻幀的第一前向光流，基于第一前向光流進行反向映射處理，得到反向映射結果；基于前向映射結果和反向映射結果進行融合處理，得到第三視頻幀，將第三視頻幀插入到視頻的第一視頻幀和第二視頻幀之間。通過本申請，能夠生成高質量的中間視頻幀，以提高插幀后視頻的播放效果。

技術領域

本申請涉及視頻處理技術領域，尤其涉及一種視頻插幀處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

人工智能（AI，Artificial Intelligence）是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個綜合技術，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。

視頻處理是人工智能的典型應用，其中，視頻插幀又是視頻處理中的一個經典任務，旨在根據一段視頻中的前后視頻幀合成過渡平滑的中間視頻幀，以使得視頻播放更加流暢，從而提升用戶的觀看體驗。例如可以通過視頻插幀處理將24幀率的視頻轉變為48幀率的視頻，從而讓用戶在觀看時感覺視頻更加清晰流暢。

然而，相關技術提供的方案在根據前后視頻幀生成中間視頻幀時，生成的中間視頻幀存在模糊和重影等問題，從而影響視頻插幀效果。

發明內容

本申請實施例提供一種視頻插幀處理方法、裝置、電子設備及計算機可讀存儲介質，能夠生成高質量的中間視頻幀，以提高插幀后視頻的播放效果。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種視頻插幀處理方法，包括：

從視頻中獲取第一視頻幀和第二視頻幀，其中，所述第一視頻幀是所述第二視頻幀的前向幀；

獲取從所述第一視頻幀到所述第二視頻幀的第一后向光流，基于所述第一后向光流進行前向映射處理，得到前向映射結果；

獲取從所述第二視頻幀到所述第一視頻幀的第一前向光流，基于所述第一前向光流進行反向映射處理，得到反向映射結果；

基于所述前向映射結果和所述反向映射結果進行融合處理，得到第三視頻幀，將所述第三視頻幀插入到所述視頻的所述第一視頻幀和所述第二視頻幀之間。

上述方案中，所述基于所述第一后向光流對所述第一視頻幀、以及所述第一視頻幀對應的第一參考信息進行前向映射處理，得到第一前向映射視頻幀以及第一前向映射參考信息，包括：基于所述第一后向光流，確定從所述第一視頻幀的第一時刻到中間時刻的第二后向光流，其中，所述中間時刻是所述第一時刻和所述第二視頻幀的第二時刻之間的任意值；基于所述第二后向光流，對所述第一視頻幀以及所述第一視頻幀對應的第一參考信息進行前向映射處理，得到第一前向映射視頻幀以及第一前向映射參考信息，其中，所述第一前向映射視頻幀是所述中間時刻對應的視頻幀。

上述方案中，所述第一參考信息包括以下至少之一：所述第一視頻幀對應的第一特征圖像、所述第一視頻幀對應的第一邊緣圖像；所述第二參考信息包括以下至少之一：所述第二視頻幀對應的第二特征圖像、所述第二視頻幀對應的第二邊緣圖像。