[發明專利]基于照明優化的結構光成像方法及裝置

在審

• 申請號: 202110977086.3
• 申請日: 2021-08-24
• 公開（公告）號: CN113808017A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 邊麗蘅;任秋凌;張軍
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本申請提出一種基于照明優化的結構光成像方法和裝置，其中，方法包括：設計基于深度神經網絡的編碼網絡和解碼網絡；利用深度神經網絡訓練編碼網絡和解碼網絡，得到優化的編碼網絡和優化的解碼網絡；利用優化的網絡編碼照明樣本，得到樣本的成像；將樣本的成像輸入到優化的解碼網絡中，輸出超分辨率圖像。本發明結合結構光照明成像方法與深度學習理論，實現優化的結構光照明超分辨圖像的快速重建，使深度學習方法在結構光照明成像應用中發揮出最優性能。

技術領域

本發明涉及計算攝像學中的超分辨成像技術領域，特別涉及一種基于照明優化的結構光成像方法及裝置。

背景技術

光學顯微成像的分辨率受光學系統衍射特性的限制，近年來，研究人員在利用現有成像系統恢復更高分辨率的圖像方面付出大量努力。2000年，加利福尼亞大學舊金山分校的M.Gustafsson博士提出了結構光照明顯微法(Structured IlluminationMicroscopy,SIM)。SIM通過結構光編碼照明光源(一般是正弦編碼)照射物體，在傅里葉空間頻域，結構光照明編碼頻譜與樣本原像頻譜卷積，以此將位于顯微成像過程的光學傳遞函數(Optical Transfer Function,OTF)之外的信息轉移到可觀測范圍內，通過特定算法拼接OTF范圍外的高頻信息與OTF內的低頻信息，從而還原高分辨率圖像。SIM成像分辨率最高可達原成像系統分辨率的兩倍。

具體的，傳統的SIM通過采集九或十五張結構光編碼照明的低分辨率編碼圖像通過特定算法生成一張高分辨圖像，恢復算法有直接法、貝葉斯估計法及Gerchberg–Saxton算法(G-S算法)等。

由于SIM的主要局限性是每一幅重建的高分辨率SIM圖像都需要獲得一系列高質量的圖像，這會降低時間分辨率，增加光漂白，因此近年來SIM一直在提高速度、分辨率，并減少所需的光照劑量等方面不斷改進。隨著深度神經網絡的發展，研究者開始運用深度學習理論進行圖像的超分辨研究，利用深度學習減少原始圖像的數量來提高SIM的速度，并從其中獲取超分辨率信息的方法被提出。2020年，研究者發現使用Unet網絡僅通過三張原始圖像就可達到傳統九張圖像的超分辨效果，不僅可以在極低光線條件下生成圖像，還通過驗證在不同細胞結構上的性能，實現了活細胞超分辨率成像，大大減少了光漂白。另外，還有研究者使用CycleGAN網絡也實現了相同的結果。但現有的深度學習方法都采用傳統的單一正弦光編碼照明圖像作為網絡輸入，需要網絡去適應物理系統，這樣就不能發揮出各自的最優性能。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種基于照明優化的結構光成像方法，利用深度學習模型作為實現手段，設計可隨著網絡迭代學習的優化結構光編碼圖案，同時模擬結構光照明下被采集圖像的成像過程，通過深度神經網絡實現結構光照明超分辨率圖像的快速重建，并搭建系統進行原理驗證。

本發明的第二個目的在于提出一種基于照明優化的結構光成像裝置。

為達上述目的，本發明第一方面實施例提出了一種基于照明優化的結構光成像方法，包括：

設計基于深度神經網絡的編碼網絡和解碼網絡；

利用所述深度神經網絡訓練所述編碼網絡和所述解碼網絡，得到優化的編碼網絡和優化的解碼網絡；

利用所述優化的網絡編碼照明樣本，得到所述樣本的成像；

將所述樣本的成像輸入到所述優化的解碼網絡中，輸出超分辨率圖像。

另外，根據本發明上述實施例的基于照明優化的結構光成像方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述編碼網絡獲取優化的結構光照明編碼，輸入高分辨率圖像，輸出經優化的結構光照明的低分辨率圖像。