[發(fā)明專利]基于相機陣列的全景光場采集裝置、處理方法和計算設(shè)備

在審

• 申請?zhí)枺?/td>: 201711328387.3
• 申請日: 2017-12-13
• 公開（公告）號: CN108156395A
• 公開（公告）日: 2018-06-12
• 發(fā)明（設(shè)計）人: 呂相文;呂東岳;劉弋鋒;謝海永
• 申請（專利權(quán)）人: 中國電子科技集團公司電子科學研究院
• 主分類號: H04N5/247
• 分類號: H04N5/247;H04N5/232;H04N5/265
• 代理公司: 北京律恒立業(yè)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11416
• 代理人: 顧珊;龐立巖

本發(fā)明提供一種基于相機陣列的全景光場采集裝置、處理方法和計算設(shè)備，所述裝置包括一個正N邊形柱體，在所述柱體的每一個側(cè)面均勻分布K個參數(shù)相同的鏡頭，所述K個屬性相同的鏡頭組成矩陣相機陣列；其中，N的取值由所述柱體相鄰面上對應(yīng)位置的鏡頭所拍攝場景的重合度確定，所述矩陣相機陣列的長度為x，所述矩陣相機陣列的寬度為y，K＝x×y。本發(fā)明采用參數(shù)完全相同的鏡頭同步曝光，消除了不同焦距下的圖像采用了不同的拼接參數(shù)造成的虛化、錯位等問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于相機陣列的全景光場采集裝置、處理方法和計算設(shè)備。

背景技術(shù)

光場成像的過程包括光場的采集以及相應(yīng)的光場數(shù)據(jù)處理。從結(jié)構(gòu)上來分，光場的采集主要包括多相機組合和單相機改造兩種方式。前者以麻省理工學院和斯坦福大學為代表，先后采用多相機陣列的方式搭建了光場采集系統(tǒng)，從每個相機拍攝到的圖片進行重構(gòu)，計算出四維光場。單相機光場采集方式在單個相機中引入光學調(diào)制元件，改變其成像結(jié)構(gòu)，從而將相機內(nèi)部的四維光場重新分布到一個二維的探測器平面上。

自從能夠商用的光場相機問世之后，因為光場具有傳統(tǒng)攝像手段所不具有的優(yōu)勢，研究者就考慮將在傳統(tǒng)攝像中已經(jīng)得到廣泛應(yīng)用的全景圖像拼接應(yīng)用于光場圖像中。與傳統(tǒng)全景圖像相比，光場全景在觀看時不僅能夠?qū)崿F(xiàn)三自由度的轉(zhuǎn)動，還能夠?qū)崿F(xiàn)根據(jù)觀看者的需要多次聚焦，并且在一定程度上實現(xiàn)小角度的三維位移，給觀看者更具沉浸感的體驗。

現(xiàn)有的實現(xiàn)光場圖像拼接的方法主要有兩種，并且都是基于現(xiàn)有商用光場相機的：

一、先對拍攝的圖像陣列進行處理，獲得一系列不同焦距下的圖像，對這一系列不同焦距下的圖像進行拼接，此方法處理后得到的全景光場圖像避免了第一種方法會產(chǎn)生的變焦失效問題，但因為還是對不同焦距下的圖像采用了不同的拼接參數(shù)，虛化、錯位等問題仍無法避免；有研究者提出對這一算法進行改進，使用全焦圖像進行拼接，再將拼接參數(shù)應(yīng)用于不同焦距下的圖像，但在應(yīng)對某些與光線方向非常相關(guān)的因素時(反射、陰影等)仍然會有缺陷出現(xiàn)；

二、直接對光線進行處理，將事先拍攝好的固定角度的光場圖像用來進行拼接，由于光場圖像拍攝角度固定，相鄰兩張圖像中的每條光線的關(guān)系就能通過計算得到，但需要非常大的計算能力以及事先的精確校準，實施難度較大。

因此，為了解決上述問題，需要一種基于相機陣列的全景光場采集裝置、處理方法和計算設(shè)備。

發(fā)明內(nèi)容

本發(fā)明的一各方面在于提供一種基于相機陣列的全景光場采集裝置，所述裝置包括一個正N邊形柱體，在所述柱體的每一個側(cè)面均勻分布K個參數(shù)相同的鏡頭，所述K個屬性相同的鏡頭組成矩陣相機陣列；

其中，N的取值由所述柱體相鄰面上對應(yīng)位置的鏡頭所拍攝場景的重合度確定，所述矩陣相機陣列的長度為x，所述矩陣相機陣列的寬度為y，K＝x×y。

優(yōu)選地，所述柱體相鄰面上對應(yīng)位置的鏡頭所拍攝的場景剛好重合時，所述柱體的變數(shù)N取最小值。

本發(fā)明的另一個發(fā)明在于提供一種全光場處理方法，所述方法包括：

所述K個參數(shù)相同的鏡頭同步曝光，獲取K×N個圖片；

將N邊形柱體不同面上對應(yīng)位置的鏡頭拍攝的圖片進行全景圖片拼接，生成K個全景陣列圖；

拼成生成的所述K個全景陣列圖在水平方向看成一個循環(huán)，進行具有邊緣處理的重聚焦計算。

優(yōu)選地，所述K個全景陣列圖按照如下方法生成：

根據(jù)拼接算法對第一組圖片進行全景拼接生成第一張全景圖，并計算生成所述第一張全景圖的模板參數(shù)；

將余下的K-1組圖片使用所述模板參數(shù)，依次通過拼接算法拼接生成K-1張全景圖；