[發明專利]利用虛擬視點從光場生成圖像

無效

• 申請號: 201380050549.5
• 申請日: 2013-09-30
• 公開（公告）號: CN104685860A
• 公開（公告）日: 2015-06-03
• 發明（設計）人: S·尼森佐恩;A·K·杰恩
• 申請（專利權）人: 派力肯影像公司
• 主分類號: H04N5/225
• 分類號: H04N5/225
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 宋巖

技術領域

本發明涉及用于從光場圖像數據生成圖像的系統和方法，并且更具體而言涉及用于利用虛擬視點(virtual?viewpoint)從光場圖像數據生成圖像的系統和方法。

背景技術

成像設備，諸如相機，可以被用來捕捉入射到圖像傳感器上的電磁頻譜的部分(諸如可見光譜)的圖像。為了方便討論，術語“光”一般性地用來覆蓋跨整個電磁頻譜的輻射。在典型的成像設備中，光通過位于成像設備一端的開口(孔)進入并且被諸如透鏡的一個或多個光學元件導向圖像傳感器。圖像傳感器包括在經光學元件接收到光時生成信號的像素或傳感器元件。常用的圖像傳感器包括電荷耦合器件(CCD)傳感器和互補金屬氧化物半導體(CMOS)傳感器。

圖像傳感器是能夠把光學圖像轉換成數字信號的設備。在數字相機中使用的圖像傳感器由像素的陣列構成；像素的個數確定圖像傳感器的百萬像素評級(megapixel?rating)。例如，具有2272×1704像素的寬度×高度的圖像傳感器將具有3,871,488像素的實際像素計數并且將被認為是4百萬像素的圖像傳感器。圖像傳感器中的每個像素能夠捕捉光并把捕捉到的光轉換成電信號。為了分離光的顏色和捕捉彩色圖像，拜耳濾光器常常放在圖像傳感器上，從而把進入的光過濾成其紅、藍和綠(RGB)分量，然后這些顏色分量被圖像傳感器捕捉。然后，被圖像傳感器加拜耳濾光器捕捉的RGB信號被處理并且可以創建彩色圖像。

一般而言，圖像捕捉利用單個圖像傳感器，以便一次捕捉一個個別圖像。數字相機通常結合圖像傳感器和處理能力二者。當數字相機拍攝照片時，由圖像傳感器捕捉的數據由圖像傳感器提供給處理器。通過改變被用來捕捉圖像的傳感器元件或傳感器元件組的圖像捕捉參數，處理器能夠控制所捕捉的圖像的各方面。

ISO/IEC?10918-1標準，按照開發該標準的聯合圖像專家組更經常地被稱為JPEG標準，為靜止圖像的數字壓縮和編碼建立了標準處理。JPEG標準指定用于把圖像壓縮成位流并且用于把位流解壓縮回圖像的編解碼器。

發明內容

公開了根據本發明實施例的用于從虛擬視點合成光場圖像的系統和方法。在本發明的一個實施例中，配置為利用所捕捉的光場圖像數據合成圖像的系統包括：處理器以及連接到處理器并配置為存儲所捕捉的光場圖像數據和圖像操縱應用的存儲器，其中所捕捉的光場圖像數據包括圖像數據、像素位置數據和深度圖，其中深度圖包括圖像數據中的一個或多個像素的深度信息，并且其中圖像操縱應用把處理器配置為：獲得所捕捉的光場圖像數據；基于所捕捉的光場圖像數據的像素位置數據和深度圖為所捕捉的光場圖像數據確定虛擬視點，其中虛擬視點包括虛擬位置和虛擬深度信息；基于所捕捉的光場圖像數據和虛擬視點計算虛擬深度圖；并且基于所捕捉的光場圖像數據和虛擬深度圖從虛擬視點的角度生成圖像，其中所生成的圖像包括基于像素位置數據和虛擬深度圖選自圖像數據的多個像素。

在本發明的另一個實施例中，虛擬視點對應于用來創建所捕捉的光場圖像數據的陣列相機中的焦平面。

在本發明的附加實施例中，所捕捉的光場圖像數據還包括所捕捉的光場圖像數據中的參考視點并且虛擬視點是所捕捉的光場圖像數據中與參考視點分離的視點。

在本發明還有另一個附加實施例中，所捕捉的光場圖像數據是由具有包括多個成像器的成像器陣列的陣列相機捕捉的并且參考視點對應于陣列相機中成像器陣列中的第一成像器的視點。

在本發明還有另一個附加實施例中，虛擬視點對應于成像器陣列中第二成像器的視點，其中第二成像器與第一成像器分離。

在本發明還有另一個附加實施例中，虛擬視點是不對應于成像器陣列中任何成像器的視點的視點。

在本發明還有另一個實施例中，虛擬視點選自如下位置，該位置是從由成像器陣列前面和成像器陣列后面組成的組中選出的。

在本發明還有另一個實施例中，圖像操縱應用還把處理器配置為：通過基于像素位置數據和深度圖投射來自所捕捉的光場圖像數據的像素來從虛擬視點的角度生成圖像，其中投射的像素在圖像數據和深度圖中描述。

在本發明還有另一個實施例中，所捕捉的光場圖像數據還包括描述從所捕捉的光場圖像數據的參考視點不可見的像素的被遮擋像素信息，并且投射的像素包括被遮擋像素信息中從虛擬視點的角度可見的至少一個被遮擋像素。

在本發明還有另一個附加實施例中，所生成的圖像中至少一個投射的像素未在圖像數據、像素位置數據和深度圖中描述，并且圖像操縱應用還把處理器配置為通過重采樣圖像數據、像素位置數據和深度圖來生成至少一個投射的像素。