[發明專利]一種視頻圖像合成方法及裝置

在審

• 申請號: 201810325616.4
• 申請日: 2018-04-12
• 公開（公告）號: CN108600655A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 王國強;張斌;孫士杰;陳學偉
• 申請（專利權）人: 視緣（上海）智能科技有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N21/44;H04N19/42;H04N5/262
• 代理公司: 上海驍象知識產權代理有限公司 31315
• 代理人: 趙俊寅

本發明公開一種視頻幀合成方法及裝置，屬于圖像處理技術領域。本發明的一種視頻圖像合成方法及裝置，包括獲取視頻流中多幀原始視頻圖像，輸入多幀原始視頻圖像到全卷積編碼/解碼器得到深度體素流，利用深度體素流和體積采樣函數對多幀原始視頻圖像進行采樣，得到目標體素，基于目標體素合成預測幀視頻圖像。本發明的一種視頻圖像合成方法及裝置通過降低使用數據幀率來預測現有的幀，在數量和質量上比之前的方式得到改進。

技術領域

本發明涉及一種視頻圖像合成方法及裝置，屬于圖像處理領域中的模式識別領域。

背景技術

模式識別又稱圖形識別，是一門正在興起的技術，它融入圖像處理、計算機等許多領域的先進技術。它與人工智能、圖像處理的研究有交叉關系，例如自適應性的模式識別系統應用于人工智能研究的景物理解，圖像處理中的圖像分析也應用模式識別技術。

我們通常觀察到的視頻是一系列復雜現象的組合，譬如物體迅速移動和發生形變、遮擋、燈光發生變化和相機移動等。視頻的外觀參數模型往往過于簡單,無法準確地模擬、插補或推斷視頻。在視頻和電影制作過程中，使用視頻插值方法合成視頻幀是一種非常普遍的方式。流行的商用插件Twixtor用于將視頻重新取樣到新的幀率,并且產生慢動作效果。與之相關的問題是視頻推斷，通過合成視頻幀來預測視頻圖像的變化趨勢.

這些問題的傳統解決方案是估計幀與幀之間的光流,然后沿光流矢量進行插值或推斷。當光流精確的時候，這種方法效果很好，相反當光流精度無法保證的時候，會產生明顯的偽像。一種新的方法是使用卷積神經網絡(CNNs)直接合成視頻幀的RGB像素值，但是直接合成RGB值效果并不如基于光流的方法成功,最終合成的圖像往往是模糊的。

發明內容

本發明的目的在于提供一種視頻圖像合成方法及裝置，通過獲取視頻流中多幀原始視頻圖像，將多幀原始視頻圖像到全卷積編碼/解碼器得到深度體素流，之后利用深度體素流和體積采樣函數對多幀原始視頻圖像進行采樣，得到目標體素，最后基于目標體素合成預測幀視頻圖像，通過降低使用數據幀率來預測現有的幀，在數量和質量上比之前的方式得到改進。

本發明提供技術方案如下：

一方面，本發明提供了一種視頻圖像合成方法，包括：

獲取視頻流中多幀原始視頻圖像；

輸入所述多幀原始視頻圖像到全卷積編碼/解碼器得到深度體素流；

利用所述深度體素流和體積采樣函數對所述多幀原始視頻圖像進行采樣，得到目標體素；

基于所述目標體素合成預測幀視頻圖像。

根據本發明的一實施方式，所述獲取視頻流中多幀原始視頻圖像的步驟包括：

截取視頻流中前后間隔的第一幀原始視頻圖像和第二幀原始視頻圖像；

其中，原始視頻圖像表示為X∈R^H×W×L，R表示視頻圖像幀，H,W,L分別表示高，寬和輸入視頻的幀數量，當L＝2時，L⁰表示第一幀原始視頻圖像，L¹表示第二幀原始視頻圖像。

根據本發明的另一實施方式，所述利用所述深度體素流和體積采樣函

數對所述多幀原始視頻圖像進行采樣，得到目標體素的步驟包括：

通過從所述第一幀原始視頻圖像和第二幀原始視頻圖像計算的光流對齊的視頻體積內插值進行顏色采樣，構造虛擬體素；

計算所述虛擬體素的八個頂點的整數位置；

通過所述體積采樣函數對所述虛擬體素進行三線性內插值生成目標體素。