[發明專利]一種基于仿人眼機制的雙通道鬼成像重建方法及系統

有效

• 申請號: 202110587552.7
• 申請日: 2021-05-27
• 公開（公告）號: CN113240610B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 程雪岷;高子琪;郝群;葉恒志;陳棵;王安琪
• 申請（專利權）人: 清華大學深圳國際研究生院;北京理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明提出的基于仿人眼機制的雙通道鬼成像重建方法及系統采用基于殘差塊卷積神經網絡的雙通道圖像重建模型，在制作訓練數據集時，采用仿人眼策略對特定的圖像集進行模擬光強生成，并引入具有發射路徑散射特征的退化數據集，使訓練數據集包含仿人眼感興趣區域特性和散射特性，將網絡訓練至收斂后，利用仿人眼策略制作測量矩陣，并加載至DMD中進行光強數據采集，用非線性光強校正方法對輸入數據進行校正，將經過校正的數據輸入雙通道圖像重建模型，經過運算得出深度學習鬼成像清晰圖像。本發明消除了位于發射路徑中的散射介質對成像造成的影響，以及混沌介質的非線性影響。

技術領域

本發明涉及圖像處理領域，特別是一種基于仿人眼機制的雙通道鬼成像重建方法及系統。

背景技術

傳統光學成像觀測技術是通過在傳感器像元與被觀測場景之間建立直接的映射關系來獲取圖像，所以其觀測結果嚴重依賴傳感器性能，因此獲得高分辨圖像最直接方法通過提升傳感器性能減少像素尺寸，然而減少傳感器像素尺寸同時光通量也隨之減少，其產生散粒噪聲干擾圖像質量。除此之外，復雜環境下的傳統光學成像觀測過程會受到環境的影響，不具有全天時、全天候高魯棒性成像的能力，例如：光在傳播過程中受到大氣湍流、空氣分子和懸浮粒子(氣溶膠粒子、降水質點)等影響,將出現衰減、閃爍、偏移、強度和相位起伏等現象，使原本有序的波前相位嚴重畸變,在對目標進行觀測成像時，因接收無序光場信號在觀測面上會形成散斑圖案；同時，實際應用中多為具有復雜多普勒特征的運動目標為瞬時成像帶來運動退化，在計算光學成像中，未知的運動目標會打亂采樣幀之間的關聯性，這些狀況會嚴重降低成像質量。

現有的應用于散射介質中的成像技術包括計算鬼成像技術，其依靠預設的時間序列下的測量模式將目標調制，通過獲取光強序列重建圖像，當靜態散射介質出現在成像的接收光路中時，即探測器和目標之間，計算鬼成像技術可以有效去除散射的影響。然而當成像環境處于以下任意一狀態時，這種去散射成像效果將一定程度失效：一、散射介質，如大氣霧霾，處于動態變化中；二、散射介質位于成像系統的發射光路中，即光源和目標之間，上述兩種狀態將理想狀態下測量幀間的光強分布規律打破，使得圖像重建過程失去依據。

發明內容

為了解決散射介質影響圖像重建的技術問題，本發明提出一種基于仿人眼機制的雙通道鬼成像重建方法及系統。

為此，本發明提出的基于仿人眼機制的雙通道鬼成像重建方法具體包括如下步驟：

S1、構建雙通道圖像重建模型；

S2、制作訓練數據集，對所述雙通道圖像重建模型進行訓練，基于所述訓練數據集將所述雙通道圖像重建模型訓練至收斂；

S3、基于仿人眼策略生成測量矩陣，加載至微鏡陣列，將所述微鏡陣列和光電探測器同步控制，所述光電探測器采集光強序列，完成對目標樣本的數據采集；

S4、采用非線性光強校正方法對采集得到的數據進行校正；

S5、將經過校正的數據輸入所述雙通道圖像重建模型，經過兩個通道后回歸為二維圖像，得到深度學習鬼成像清晰圖像。

進一步地，所述雙通道圖像重建模型采用雙通道增強型神經網絡，所述雙通道增強型神經網絡的兩路分支為鬼成像圖分支和光強殘差分支，其數據源分別為鬼成像重建圖像和光強特征序列。

進一步地，所述鬼成像重建圖像由下式計算得到：

I(x)＝(S_i-S_i)(P_i-P_i)

其中·表示所有測量值的算數平均值，S_i表示網絡輸入的光強序列，P_i表示獲取光強數據采用的隨機測量圖案。