[發明專利]利用虛擬視點從光場生成圖像

無效

• 申請號: 201380050549.5
• 申請日: 2013-09-30
• 公開（公告）號: CN104685860A
• 公開（公告）日: 2015-06-03
• 發明（設計）人: S·尼森佐恩;A·K·杰恩
• 申請（專利權）人: 派力肯影像公司
• 主分類號: H04N5/225
• 分類號: H04N5/225
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 宋巖

1.一種配置為利用所捕捉的光場圖像數據合成圖像的系統，包括：

處理器；及

存儲器，連接到處理器并配置為存儲所捕捉的光場圖像數據和圖像操縱應用；

其中所捕捉的光場圖像數據包括圖像數據、像素位置數據和深度圖；

其中深度圖包括圖像數據中一個或多個像素的深度信息；及

其中圖像操縱應用把處理器配置為：

獲得所捕捉的光場圖像數據；

基于所捕捉的光場圖像數據的像素位置數據和深度圖為所捕捉的光場圖像數據確定虛擬視點，其中虛擬視點包括虛擬位置和虛擬深度信息；

基于所捕捉的光場圖像數據和虛擬視點計算虛擬深度圖；及

基于所捕捉的光場圖像數據和虛擬深度圖從虛擬視點的角度生成圖像，其中所生成的圖像包括基于像素位置數據和虛擬深度圖選自圖像數據的多個像素。

2.如權利要求1所述的系統，其中虛擬視點對應于用來創建所捕捉的光場圖像數據的陣列相機中的焦平面。

3.如權利要求1所述的系統，其中：

所捕捉的光場圖像數據還包括所捕捉的光場圖像數據中的參考視點；及

虛擬視點是所捕捉的光場圖像數據中與參考視點分離的視點。

4.如權利要求3所述的系統，其中：

所捕捉的光場圖像數據是由具有包括多個成像器的成像器陣列的陣列相機捕捉的；及

參考視點對應于陣列相機中成像器陣列中的第一成像器的視點。

5.如權利要求4所述的系統，其中虛擬視點對應于成像器陣列中第二成像器的視點，其中第二成像器與第一成像器分離。

6.如權利要求4所述的系統，其中虛擬視點是不對應于成像器陣列中任何成像器的視點的視點。

7.如權利要求4所述的系統，其中虛擬視點選自如下位置，該位置是從由成像器陣列前面和成像器陣列后面組成的組選出的。

8.如權利要求1所述的系統，其中圖像操縱應用還把處理器配置為：通過基于像素位置數據和深度圖投射來自所捕捉的光場圖像數據的像素來從虛擬視點的角度生成圖像，其中投射的像素在圖像數據和深度圖中描述。

9.如權利要求8所述的系統，其中：

所捕捉的光場圖像數據還包括描述從所捕捉的光場圖像數據的參考視點不可見的像素的被遮擋像素信息；及

投射的像素包括被遮擋像素信息中從虛擬視點的角度可見的至少一個被遮擋像素。

10.如權利要求8所述的系統，其中：

所生成的圖像中至少一個投射的像素未在圖像數據、像素位置數據和深度圖中描述；及

圖像操縱應用還把處理器配置為通過重采樣圖像數據、像素位置數據和深度圖來生成至少一個投射的像素。

11.如權利要求8所述的系統，其中針孔相機模型被用來基于從虛擬視點投射的光線來投射所生成的圖像中的像素，其中每個投射的像素與至少一條投射的光線關聯。

12.如權利要求11所述的系統，其中，基于與投射的像素關聯的深度圖、虛擬視點和光線，為所生成的圖像中的至少一個像素確定投射的像素的深度信息。

13.如權利要求12所述的系統，其中投射的像素的深度信息基于跨所捕捉的光場圖像數據中的圖像數據使投射的像素的變化最小化。

14.如權利要求11所述的系統，其中圖像操縱應用還把處理器配置為：組合在所生成的圖像中具有相同位置的投射的像素。

15.如權利要求14所述的系統，其中像素是基于像素的加權平均來組合的，其中像素的加權平均是從投射的像素起源的成像器到虛擬視點的距離的倒數。

16.如權利要求1所述的系統，還包括輸入設備，該輸入設備配置為獲得指示所捕捉的光場圖像數據中的位置的輸入數據。

17.如權利要求16所述的系統，其中輸入設備是觸摸屏接口。

18.如權利要求16所述的系統，其中輸入設備是配置為獲得空間位置信息的傳感器。

19.如權利要求16所述的系統，其中輸入設備是相機，該相機配置為獲得選自由頭部跟蹤數據和視線跟蹤數據組成的組的輸入數據。