[發明專利]一種視頻圖像合成方法及裝置

在審

• 申請號: 201810325616.4
• 申請日: 2018-04-12
• 公開（公告）號: CN108600655A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 王國強;張斌;孫士杰;陳學偉
• 申請（專利權）人: 視緣（上海）智能科技有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N21/44;H04N19/42;H04N5/262
• 代理公司: 上海驍象知識產權代理有限公司 31315
• 代理人: 趙俊寅

1.一種視頻圖像合成方法，其特征在于，包括：

獲取視頻流中多幀原始視頻圖像；

輸入所述多幀原始視頻圖像到全卷積編碼/解碼器得到深度體素流；

利用所述深度體素流和體積采樣函數對所述多幀原始視頻圖像進行采樣，得到目標體素；

基于所述目標體素合成預測幀視頻圖像。

2.根據權利要求1所述的一種視頻圖像合成方法，其特征在于，所述獲取視頻流中多幀原始視頻圖像的步驟包括：

截取視頻流中前后間隔的第一幀原始視頻圖像和第二幀原始視頻圖像；

其中，原始視頻圖像表示為X∈R^H×W×L，R表示視頻圖像幀，H,W,L分別表示高，寬和輸入視頻的幀數量，當L＝2時，L⁰表示第一幀原始視頻圖像，L¹表示第二幀原始視頻圖像。

3.根據權利要求2所述的一種視頻圖像合成方法，其特征在于，所述利用所述深度體素流和體積采樣函數對所述多幀原始視頻圖像進行采樣，得到目標體素的步驟包括：

通過從所述第一幀原始視頻圖像和第二幀原始視頻圖像計算的光流對齊的視頻體積內插值進行顏色采樣，構造虛擬體素；

計算所述虛擬體素的八個頂點的整數位置；

通過所述體積采樣函數對所述虛擬體素進行三線性內插值生成目標體素。

4.根據權利要求3所述的一種視頻圖像合成方法，其特征在于，所述深度體素流表示為：其中，表示全卷積編碼/解碼器，θ是網絡參數，是深度體素流F在二維網格的整數目標像素位置，第一幀和第二幀原始圖像的絕對位置分別為L⁰＝(x-Δx，y-Δy)，L¹＝(x-Δx，y-Δy)。

5.根據權利要求4所述的一種視頻圖像合成方法，其特征在于，所述虛擬體素的八個頂點的整數位置分別為：

其中，是底部函數，定義插值的時間范圍。

6.根據權利要求5所述的一種視頻圖像合成方法，其特征在于，所述目標體素表示為：

其中，為體積采樣函數，W^ijk是三線重采樣權。

7.根據權利要求1-6任一所述的一種視頻圖像合成方法，其特征在于，所述全卷積編碼/解碼器包括第一卷積層、第一池化層、第二卷積層、第二池化層、第三卷積層、第三池化層、第一反卷積層、第一雙線性上采樣層、第二反卷積層、第二雙線性上采樣層、第三反卷積層、第三雙線性上采樣層以及瓶頸層，所述第一、第二和第三卷積層與所述第一、第二和第三反卷積層分別對應跳躍連接，所述第一、第二和第三卷積層的卷積核大小分別為5×5，5×5和3×3，所述第一、第二和第三反卷積層的卷積核大小分別為3×3、5×5和5×5，所述瓶頸層通過內核大小為3×3的卷積連接。

8.一種視頻圖像合成裝置，其特征在于，包括：

獲取模塊，用于獲取視頻流中多幀原始視頻圖像；

全卷積編碼/解碼器模塊，用于輸入所述多幀原始視頻圖像到全卷積編碼/解碼器得到深度體素流；

采樣模塊，用于利用所述深度體素流和體積采樣函數對所述多幀原始視頻圖像進行采樣，得到目標體素；

合成模塊，用于基于所述目標體素合成預測幀視頻圖像。