[發明專利]基于卷積神經網絡對經散射介質后的物體進行成像的方法

在審

• 申請號: 202010696635.5
• 申請日: 2020-07-20
• 公開（公告）號: CN111739117A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 韓靜;柏連發;張毅;趙壯;孫巖;郭恩來;朱碩;師瑛杰;顧杰;崔倩瑩;戚浩存;左葦;呂嫩晴
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08;G06K9/48;G06K9/62
• 代理公司: 南京蘇創專利代理事務所(普通合伙) 32273
• 代理人: 鳳婷

本發明公開了一種基于卷積神經網絡PDSNet來實現對散射介質后的物體進行成像的方法，該方法將傳統散斑相關成像算法原理結合起來，指導了網絡的設計和優化，以數據驅動的方式消除了光學記憶效應OME對成像視場角FOV的限制。卷積神經網絡PDSNet是一種適用于隨機尺度和復雜目標的神經網絡結構。實驗測試了卷積神經網絡PDSNet的隱藏對象恢復能力，在平均PSNR保持24dB以上的前提下，實現至少40倍的光學記憶效應范圍擴展。同時，在未經訓練的尺度下，恢復圖像的平均PSNR在22dB以上，成功地重建了人臉等復雜目標。文中給出的實驗結果驗證了該方法的準確性和有效性。

技術領域

本發明涉及一種基于卷積神經網絡對經散射介質后的物體進行成像的方法，屬于機器學習與圖像重建領域。

背景技術

散射介質普遍存在于生物組織中，是天文成像領域的主要干擾源。人們提出了許多新的成像方法來實現通過嚴重無序介質的成像。典型的方法包括光學相干層析成像、波前調制、基于傳輸矩陣和基于點擴散函數的圖像重建算法。Katz等人基于光學記憶效應提出了散斑相關成像技術。與上述方法不同的是，該方法可以透過強散射介質成像，可應用于動態散射介質，同時不需要額外的參考源。

由于OME的存在，散射介質可以看作是固定FOV內的線性系統。基于這一原理，出現了兩種算法:一種是基于PSF反卷積的算法，需要提前對系統的PSF進行測量，屬于侵入式測量方法。第二種是散斑相關成像技術，該算法利用自相關直接將散斑圖與原目標聯系起來，最后利用相位恢復算法對隱藏在散射介質后的目標進行重構。目前，典型的相位恢復算法有HIO、基于ADMM的算法、prGAMP、BM3D-prGAMP等。成像系統的FOV受OME的嚴格限制，與散射介質的有效厚度成反比，限制了各種基于OME的算法的抗散射能力。有幾種新的算法已經成功地擴展了OME的FOV，但其中大部分是基于先驗知識的侵入性方法。Gardner等人通過調制光源，將疊層成像技術引入到非稀疏目標的圖像重建中，使其具有擴展FOV的能力。據我們所知，對于OME范圍以外的圖像，最好的非侵入性方法是Wang等人提出一種雙重迭代算法，該算法可以分別恢復兩個總大小超過OME范圍的目標。該算法可以在不依賴先驗信息的情況下，將OME范圍至少擴大三倍，但對目標仍然存在一定的約束，如目標必須是規則形狀，且在兩個獨立的OME區域內。由于需要進行兩次迭代優化，該算法耗時較長，在MATLAB2018b上重構300*300像素分辨率的圖像需要14400s。

從散射圖像中求解原始目標分布就是找出兩者之間的映射關系。許多學者也將深度學習算法應用于透過散射介質成像中，來求解被測目標分布。Shuai等人提出的IDiffNet實現了對散斑圖像的重建，并且詳細討論了損失函數、訓練集等因素對于最終重建圖像質量的影響。Yunzhe Li等人構建了一個具有“一對多”能力的卷積神經網絡，可以重建未經訓練的磨砂玻璃產生的散斑圖像，唯一的條件是未經訓練的散射介質具有與制作訓練集所用的磨砂玻璃相同的統計特性。Yang等人利用U-net實現了對磨砂玻璃和單模光纖的散射圖像的恢復。Sun等建立了一個GAN網絡，并采用脂肪乳化液模擬動態散射介質，實驗證明，該網絡能夠實現動態散射圖像的恢復。Lyu等人構建了一種混合神經網絡(hybridneural network, HNN)模型，證明了該模型也可以重構出大于OME范圍的目標，論文中提供的實驗均使用單一磨砂玻璃作為散射介質，用一個訓練過程來重建不同光學性質介質的能力還沒有得到證實。以上工作證明了深度學習可以通過隨機散射介質重建OME范圍內的物體，打破單個散射介質的OME范圍。目前，對于基于學習的重建方法，其重建圖像質量和擴展OME范圍的能力缺乏定量評價。

為了將基于OME的方法引入活體生物組織等實際應用中，此類方法對FOV的局限性是一個亟待解決的問題。同時，實際目標的結構復雜性非常高，要求重建能力足夠強大，能夠檢索出隱藏對象的圖像。在實際應用中，散射介質是復雜的，被測目標的尺度和散射介質的性質都是復雜多變的。此外，重構算法應具有較強的泛化能力，能夠適應不同散射介質和不同尺度目標的任務。因此，消除OME對FOV的限制、對復雜目標良好的重建能力和較強的泛化能力是實現透過散射介質成像實用化的基本條件。