[發明專利]一種基于混合成像系統進行光場視頻捕捉的方法

在審

• 申請號: 201710631897.1
• 申請日: 2017-07-28
• 公開（公告）號: CN107392881A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及圖像捕捉領域，尤其是涉及了一種基于混合成像系統進行光場視頻捕捉的方法。

背景技術

光場視頻捕捉常用于安防監控、視頻拍攝、合成光場描繪、合成孔徑成像、多視點立體顯示等領域。采用基于圖像渲染技術，在不需要圖像的深度信息或相關性的條件下，通過預先拍攝的一組場景照片，建立該場景的光場數據庫，然后對于任意給定的新視點，經過采樣和線性插值運算，得到該視點的視圖，實現對整個場景的漫游。具體地，在安防監控領域，運用光場相機捕捉視頻，根據需要可以對視頻調整焦距，查看視頻資料。在視頻拍攝領域，拍攝電影的時，可以在視頻被捕獲之后，嘗試在視頻不同部分改變焦點。與傳統視頻拍攝相比，光場視頻拍攝允許用戶在拍照后更改圖像設置，但是在光場相機帶寬范圍較小的情況下，要捕獲大量視頻數據，尚且存在一定的挑戰。

本發明提出一種基于混合成像系統進行光場視頻捕捉的方法，通過使用混合成像系統來捕捉光場視頻，由一個時空光流卷積神經網絡和外觀卷積神經網絡組成。時空光流卷積網絡將時間信息從光場幀傳播到二維幀，并將所有圖像翹曲到目標視圖。外觀卷積神經網絡然后接收這些圖像并生成最終圖像。時空卷積神經網絡把輸入的二維視頻和光場圖像翹曲到目標角度視圖，外觀卷積神經網絡結合所有已翹曲的圖像，生成新圖像，本發明提出一種新型算法，使用混合成像系統來捕捉光場視頻，增加一臺攝像機來捕獲時間信息，通過卷積神經網絡將二維視頻和稀疏光場序列生成一個全光場視頻，為安防監控以及視頻拍攝領域的創新解決方案做了進一步貢獻。

發明內容

針對圖像捕捉，提出一種新型算法，使用混合成像系統來捕捉光場視頻，增加一臺二維攝像機來捕獲時間信息，通過卷積神經網絡將二維視頻和稀疏光場序列生成一個全光場視頻，為安防監控以及視頻拍攝領域的創新解決方案做了進一步貢獻。

為解決上述問題，本發明提供一種基于混合成像系統進行光場視頻捕捉的方法，其主要內容包括：混合成像系統(一)；時空光流估計網絡(二)；外觀估計網絡(三)。

(一)混合成像系統；

(二)時空光流估計網絡；

(三)外觀估計網絡。

其中，所述的混合成像系統，提出一種新型算法，通過使用混合成像系統來捕捉光場視頻，由時空光流卷積神經網絡和外觀卷積神經網絡組成，給定一個以30幀每秒為標準的二維視頻和一個低速光場視頻，生成一個全光場視頻，由于二維幀中部分關鍵幀具有對應的光場，部分則不存在光場，故將這種多視圖信息從這些關鍵幀傳播到中間幀，時空卷積神經網絡把輸入的二維視頻和光場圖像翹曲到目標角度視圖，外觀卷積神經網絡結合所有已翹曲的圖像，生成新圖像，用I^t表示二維視頻幀，L^t表示光場視頻序列，其中t＝1，2，3…是幀索引，令L⁰和L^T為兩個相鄰的關鍵幀，通過給定的(L⁰，L^T)以及{I⁰,I¹,…,I^T-1,I^T}，估算{L¹,…,L^T-1}，只計算兩個相鄰關鍵幀(L⁰,L^T)之間的幀，然后結合所有插值結果產生完整的視頻。

進一步地，所述的時空光流估計網絡，包括視差估計，時間光流估計和翹曲光流估計三部分，第一部分估計關鍵幀的視差，第二部分計算如何在二維幀之間傳播信息，第三部分利用前兩部分的結果將視差傳播到所有二維幀，首先對每個部分進行獨立訓練，然后再端到端進行訓練。

其中，所述的端到端進行訓練，訓練模型包含兩個幀之間所有的圖像，并輸出一個完整的光場序列，在兩個光場(L⁰,L^T)中輸入一個二維幀{I¹,…,I^T-1}，輸出{L¹,…,L^T-1}，在訓練過程存儲器不可能適應整個光場序列，故每個訓練樣本僅從光場中抽取部分視圖和二維序列中抽取一幀進行采樣。