[發明專利]一種基于混合成像系統進行光場視頻捕捉的方法

在審

• 申請號: 201710631897.1
• 申請日: 2017-07-28
• 公開（公告）號: CN107392881A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于混合成像系統進行光場視頻捕捉的方法，其特征在于，主要包括混合成像系統(一)；時空光流估計網絡(二)；外觀估計網絡(三)。

2.基于權利要求書1所述的混合成像系統(一)，其特征在于，提出一種新型算法，通過使用混合成像系統來捕捉光場視頻，由時空光流卷積神經網絡和外觀卷積神經網絡組成，給定一個以30幀每秒為標準的二維視頻和一個低速光場視頻，生成一個全光場視頻，由于二維幀中部分關鍵幀具有對應的光場，部分則不存在光場，故將這種多視圖信息從這些關鍵幀傳播到中間幀，時空卷積神經網絡把輸入的二維視頻和光場圖像翹曲到目標角度視圖，外觀卷積神經網絡結合所有已翹曲的圖像，生成新圖像，用I^t表示二維視頻幀，L^t表示光場視頻序列，其中t＝1,2,3…是幀索引，令L⁰和L^T為兩個相鄰的關鍵幀，通過給定的(L⁰,L^T)以及{I⁰,I¹,…,I^T-1,I^T}，估算{L¹,…,L^T-1}，只計算兩個相鄰關鍵幀(L⁰,L^T)之間的幀，然后結合所有插值結果產生完整的視頻。

3.基于權利要求書1所述的時空光流估計網絡(一)，其特征在于，時空光流估計網絡包括視差估計，時間光流估計和翹曲光流估計三部分，第一部分估計關鍵幀的視差，第二部分計算如何在二維幀之間傳播信息，第三部分利用前兩部分的結果將視差傳播到所有二維幀，首先對每個部分進行獨立訓練，然后再端到端進行訓練。

4.基于權利要求書3所述的端到端進行訓練，其特征在于，訓練模型包含兩個幀之間所有的圖像，并輸出一個完整的光場序列，在兩個光場(L⁰,L^T)中輸入一個二維幀{I¹,…,I^T-1}，輸出{L¹,…,L^T-1}，在訓練過程存儲器不可能適應整個光場序列，故每個訓練樣本僅從光場中抽取部分視圖和二維序列中抽取一幀進行采樣。

5.基于權利要求書4所述的采樣，其特征在于，除了兩個關鍵幀0和T中使用所有角度視圖之外，在中心視圖u₀的基礎上，每次都隨機抽取4個視圖u₁,u₂,u₃,u₄，然后將這五個視圖輸入視差估計網絡，生成關鍵幀視差，在每個訓練樣本中，僅輸入一個幀t,代替所有幀之間的中心視圖，然后使用時間流網絡來估計關鍵幀和幀t之間的流；在幀t處隨機抽取一個角度視圖u，用翹曲光流網絡在兩個關鍵幀中提取視圖u和u₀，以及二維幀I^t,并對它們進行翹曲，最后色彩估計網絡采用這些翹曲圖像，生成最后的輸出圖像。