[發明專利]一種時空頻五維壓縮超快攝影裝置

有效

• 申請號: 202110399204.7
• 申請日: 2021-04-14
• 公開（公告）號: CN113296346B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 丁鵬鵬;齊大龍;姚云華;孫真榮;張詩按
• 申請（專利權）人: 華東師范大學
• 主分類號: G03B35/08
• 分類號: G03B35/08;G03B39/00;H04N13/25;H04N13/296;H04N13/106
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種時空頻五維壓縮超快攝影裝置，其特征在于，該裝置包括：

一個由飛秒激光器(101)、第一反射鏡(102)、第二反射鏡(103)、工程散射器件(104)構成的主動照明系統(100)；

一個由待測動態場景(201)、相機鏡頭(202)、透射反射之比為1∶1的第一分束立方(203)、CMOS相機(204)、第一透鏡(205)、第二透鏡(206)、數字微鏡器件(207)、透射反射之比為1∶1的第二分束立方(208)、第一濾波片(209)、第一條紋相機(210)、第二濾波片(211)、透射光柵(212)、第二條紋相機(213)構成的數據采集系統(200)；

一個由光電探頭(301)、數字脈沖延時發生器(302)構成的同步控制系統(300)；

一個由計算機構成的數據重構系統(400)；

所述主動照明系統(100)的飛秒激光器(101)與第一反射鏡(102)、第二反射鏡(103)、工程散射器件(104)依次光路連接；

所述數據采集系統(200)的待測動態場景(201)與相機鏡頭(202)連接，相機鏡頭(202)與第一分束立方(203)連接，第一分束立方(203)反射的一路與CMOS相機(204)連接，第一分束立方(203)透射的一路依次與第一透鏡(205)、第二透鏡(206)及數字微鏡器件(207)連接，數字微鏡器件(207)反射的光路依次與第二透鏡(206)、第一透鏡(205)及第一分束立方(203)連接，第一分束立方(203)反射的另一路與第二分束立方(208)連接，第二分束立方(208)透射的一路依次與第一濾波片(209)及第一條紋相機(210)連接，第二分束立方(208)反射的一路依次與第二濾波片(211)、透射光柵(212)及第二條紋相機(213)連接；其中，待測動態場景(201)、相機鏡頭(202)、第一分束立方(203)、第一透鏡(205)、第二透鏡(206)、數字微鏡器件(207)、第二分束立方(208)、第一濾波片(209)及第一條紋相機(210)組成立體成像系統；待測動態場景(201)、相機鏡頭(202)、第一分束立方(203)、第一透鏡(205)、第二透鏡(206)、數字微鏡器件(207)、第二分束立方(208)、第二濾波片(211)、透射光柵(212)及第二條紋相機(213)組成高光譜成像系統；所述透射光柵(212)為300線對每毫米，用于提供光譜分辨；第一濾波片(209)與第二濾波片(211)分別用于濾除待測動態場景(201)表面的光致發光與待測動態場景(201)表面散射光；

所述的同步控制系統(300)的數字脈沖延時發生器(302)分別與光電探頭(301)、數據采集系統(200)中的CMOS相機(204)、第一條紋相機(210)及第二條紋相機(213)連接；

所述的數據重構系統(400)的計算機分別與CMOS相機(204)、第一條紋相機(210)、第二條紋相機(213)連接；數據重構采用全變分塊匹配3D濾波即TV-BM3D算法，所述TV-BM3D算法對第一條紋相機(210)與第二條紋相機(213)相機采集到的兩張積分圖像進行重構，并對重構的結果進行耦合處理，即將立體成像的三維數據與高光譜成像的四維數據進行哈達瑪積操作，最后完整的恢復出時空頻五維動態場景；其中：

重構采用全變分塊匹配3D濾波算法，具體數據處理過程如下：

數據處理過程分為對立體成像系統拍攝的積分圖像重構和對高光譜成像系統拍攝到的積分圖像重構，最后將重構的結果進行耦合，恢復出五維原始動態場景；

在立體成像系統中，動態場景的空間深度信息由下式計算出：

z＝ct_e/2， (1)

其中，c為光速，即3*10⁸m/s，t_e為光子的飛行時間；

因此，在立體成像系統中，第一條紋相機(210)最后采集的結果E₁(m,n)由下式表示：

E₁(m,n)＝KTCI_sα(x,y,z)， (2)

I_s代表主動照明系統(100)產生的照明散射激光，α(x,y,z)為待測動態場景表面強度反射系數，C為空間編碼算符，T代表時間偏轉算符，K為時空集成算符；為了從積分圖像E₁(m,n)中還原出三維立體信息，利用全變分塊匹配3D濾波(TV-BM3D)算法對積分圖像進行重構，設待測動態場景表面散射光I₁＝I_sα(x,y,z)，解決下式的最小化問題：

在(3)式中，||·||₂代表l₂范數，θ為輔助可調參量，λ為正則化參數，Φ(·)是全變分正則化項，s為強度閾值限制，而ε是一個大于0的正數，實際值取決于噪聲水平；設y₀為CMOS相機(204)拍攝的靜態圖像，N為I₁的總像素數量，因此s優化閾值由下式表示：

其中，代表優化結果的時空集成圖像；解決等式(3)的優化問題通過不斷迭代更新I₁和θ，即固定其中一個參數，更新另一個參數；因此(3)式的優化問題分解成兩個下式的迭代問題，通過不斷迭代更新I₁和θ：

其中，k代表迭代次數；令利用上圖設置法即epigraph setmethod求解等式(5)的投影問題；對這里的I₁和E₁分別進行向量化處理，解決下式的投影問題：

其中加入下劃線的參量表示N+1維度向量；θ^(k)＝[θ^(k)T 0]^T∈R^N+1，R^N+1表示N+1維向量空間，G為f(I₁)的上圖集，G＝{[I₁^Tq]^T∈R^N+1：q≥f(I₁)}，q是一個正實數；為了求解等式(7)，選擇上圖集G到θ^(k)上最近的向量I₁^(k+1)，在集合G支持的超平面上執行連續的正交投影；利用梯度下降法即Gradient descent method來計算第j次投影后的投影點v_j表示成：

這里設v₀的初始值等于θ^(k)，表示方程f在點v_j-1的導數，即在第j_max次連續投影后，上圖設置G支持的超平面上執行連續投影的最優解I₁^(k+1)寫為將向量化的I₁和E₁變形為矩陣，得到優化結果v_jmax＝I₁^(k+1)；

求解等式(6)看成是一個圖像降噪問題，I₁^(k+1)是一個帶有噪聲的圖像，而θ^(K+1)是一個降噪后的圖像；交替使用TV降噪器和BM3D降噪器進行圖像去噪，即第一步使用TV降噪器，后續迭代使用BM3D降噪器；在每次迭代中，通過不斷更新噪聲標準差σ：

其中，η為[0,1)之間的正實數，ξ為小于1的實數，△^(k+1)為差值；最后，當迭代次數k達到最大時，得到最優解

在高光譜成像系統中，原始動態場景為I₂(x,y,t,λ)，第二條紋相機最后采集到結果為E₂，具體表達式為：

E₂(m,n)＝MTSCI₂(x,y,t,λ)， (10)

S為光譜偏移算符，M為時空頻集成算符；因此，為了恢復出四維(x,y,t,λ)信息，再次利用全變分塊匹配3D濾波(TV-BM3D)算法對積分圖像進行重構，即解決下式的最小化問題；

重復上述(4)-(9)式優化迭代過程，得到最優解

基于等式(3)和(11)，已經分別獲得了原始動態場景的三維立體信息以及二維空間，一維時間，一維光譜信息；通過對兩次重構結果的耦合操作，完整的恢復出原始動態場景的五維(x,y,z,t,λ)信息；根據立體成像系統與高光譜成像系統的時間相關性，具體的耦合操作如下：

其中：

在(12)、(13)式中，H(x)是一個閾值濾波器，x_s代表強度閾值以確保噪聲被完全消除,⊙代表二維(x-y)矩陣的哈達瑪積操作；經過閾值濾波后，包含了在空間深度方向的x-y平面序列切片，在耦合過程中僅提供了三維輪廓框架；基于等式(12)，的序列深度信息通過對與經過閾值限制的進行哈達瑪積操作獲得；最后，整個時空頻五維信息(x,y,z,t,λ)被完整的還原出來。