[發明專利]一種多光譜光場成像方法

有效

• 申請號: 201710021578.9
• 申請日: 2017-01-12
• 公開（公告）號: CN106840398B
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 岳濤;趙楊;陳林森;曹汛;馬展
• 申請（專利權）人: 南京大學
• 主分類號: G01J3/28
• 分類號: G01J3/28
• 代理公司: 南京知識律師事務所32207
• 代理人: 李媛媛

技術領域

本發明涉及計算機攝像學領域，特別涉及到一種多光譜光場成像方法。

背景技術

計算攝像學是一門將計算機視覺、數字信號處理、圖形學等學科深度交叉的新興研究方向，旨在結合計算、光學系統和智能光照等技術，將成像系統采集能力與計算機的處理能力相結合，從成像機理上來改進傳統相機，并將硬件設計與軟件計算能力有機結合，突破經典成像模型和數字相機的局限性，增強或者擴展傳統數字相機的數據采集能力，全方位地捕捉真實世界的場景信息。開展場景光場光譜信息的相關研究工作，同時獲取高空間、時間、光譜和方向分辨率的圖像，這對于三維重建、安全偵察、數字娛樂等領域有重要意義。

在計算攝像學領域，通常使用7維全光函數f(x；y；z；θ；λ；t)對光信號進行描述：某一時刻t，在三維空間任意位置x；y；z，沿著方向θ；觀察到頻率為λ、強度為|f(x；y；z；θ；λ；t)|的光線。但是，經典成像模型是7維全光函數的一個2維投影子空間采樣，僅在2維空間維度(x；y)上具有高采樣能力，并進行RGB三色成像，而對其它維度的信息采樣能力極其受限。但是從多光譜與視覺的技術原理來說，包含光線角度、場景深度、光譜等高維度的信息僅僅用RGB三個通道來代替，會失去大量細節，而這些包括深度和光譜的豐富細節往往能夠揭示物體和場景光線的很多特性，也能在很多計算機視覺領域的工作獲得長足進步。

現有高光譜技術對于傳統成像技術進行擴展，能夠獲取多維光譜信息，但是根據技術要求和采集條件不同，采集系統大多都是通過犧牲空間分辨率或者時間分辨率來補償光譜分辨率，并且丟失了深度信息。

Gershun在1936年提出光場的概念，將其定義為光輻射在空間各個位置向各個方向的傳播，包含了一系列不同視角對同一場景的二維圖像，描述了在常數時間t和波長λ下的全光函數，能夠獲取全視場范圍內光源的空間角度信息，從而能夠進一步進行幾何重建和深度獲取等應用。

目前市場上只有單一多光譜相機或者單一深度信息的相機，對于能夠聯合采集場景深度信息、多光譜信息以及角度信息的相機尚未誕生，而隨著光場信息和光譜信息在識別上的重要性越來越大，設計一種能夠同時進行光場和光譜信息采集的系統可以極大促進計算攝像學領域中針對場景信息重構的研究。

發明內容

針對上述現有技術中存在的缺陷，本發明的目的在于提出一種多光譜光場成像方法，可以實現光譜信息與光場信息的同時獲取。

為達到上述目的，本發明采用以下技術方案：

一種多光譜光場成像方法，包括沿光路方向順次設置的寬帶濾波片陣列、異構相機陣列、控制板陣列和信息聯合處理裝置；其中，寬帶濾波片陣列與異構相機陣列相互平行對齊；所述寬帶濾波片陣列將場景光線進行濾波生成多個波長上的光譜光線，再分別入射到異構相機陣列中的各個相機；控制板陣列與所述異構相機陣列相連，以進行相機參數配置和同步觸發控制，實現多路圖像或視頻信息同時采集并傳輸到信息聯合處理裝置；所述信息聯合處理裝置將獲取的多路圖像或視頻進行存儲或實時處理顯示；所述信息聯合處理裝置的處理方法為：根據兩兩相機之間姿態不同獲取的圖像對的視差信息，訓練基于孿生網絡架構的卷積神經網絡，對交叉光譜通道的雙目圖像對進行立體匹配以獲取入射光線的角度信息，得到全視場范圍內的光場信息；利用視差算法重建全視場范圍內的深度信息；根據相機陣列內外參數，結合立體匹配和圖像對齊算法進行相機校準和視場對齊，通過光譜解復用算法得到場景中任一像素點在任一相機視角下共3*M*N波段的多光譜信息，從而獲取多光譜光場信息，其中M為異構相機陣列中每行的相機個數，N為異構相機陣列的行數，且M、N均為正整數。

所述寬帶濾波片陣列由相關性最小(條件數最小)的M*N片共平面不同波段的濾波片構成，各濾波片分別置于各相機鏡頭和傳感器中間，以保證最終光譜重建效果；所有濾波片的尺寸均相同。

所述異構相機陣列由M*N個共平面的商用彩色或者灰度相機構成，且光軸相互平行。優選地，所有相機的型號均相同。

對所述異構相機陣列進行內外參數配準，使得不同相機視場中的對應點位于同一水平或垂直對極線，以消除系統誤差。

所述異構相機陣列中的相機同時拍攝，一次性獲取M*N張圖像或動態視頻。

所述控制板陣列將多路信息以raw格式或者MPEG2視頻流格式傳輸到信息聯合處理裝置。