[發明專利]一種基于深度卷積神經網絡的傅里葉疊層顯微重建方法

有效

• 申請號: 202010049470.2
• 申請日: 2020-01-16
• 公開（公告）號: CN111260556B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 李大禹;穆全全;宣麗;孫銘璐;朱友強;彭增輝;劉永剛;魯興海;王啟東;張杏云;楊程亮
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 張偉

1.一種基于深度卷積神經網絡的傅里葉疊層顯微重建方法，其特征在于，包括以下步驟：

步驟S1：獲取傅里葉疊層成像顯微鏡對樣本成像后得到的低分辨率圖片序列；

步驟S2：將所述低分辨率圖片序列通過級聯的方式轉換成三維張量；

步驟S3：利用傅里葉疊層重建網絡對所述張量進行重建，得到重建后的復振幅信息；

步驟S4：根據重建后的復振幅信息得到所述樣本對應的高分辨率振幅圖片和高分辨率相位圖片；

所述傅里葉疊層重建網絡通過以下步驟獲得：

步驟S3-1：網絡結構搭建

所述傅里葉疊層重建網絡包括重建網絡支路和級聯層，所述重建網絡支路設置為兩個，其中一個所述重建網絡支路用于重建振幅并輸出重建后的振幅信息至所述級聯層，另一個所述重建網絡支路用于重建相位并輸出重建后的相位信息至所述級聯層，所述級聯層對重建后的振幅信息和重建后的相位信息進行級聯，得到重建后的復振幅信息；

所述重建網絡支路包括第一網絡分支、第二網絡分支、子級聯層和卷積層，所述第一網絡分支包括依次連接的第一卷積層、第一殘差模組和第一上采樣模組，所述第一卷積層接收輸入的張量并對張量的通道數進行壓縮，壓縮后的張量輸入至所述第一殘差模組，經過所述第一殘差模組處理后輸入至所述第一上采樣模組，所述第一上采樣模組進行上采樣操作并恢復張量的通道數；所述第二網絡分支包括依次連接的第二卷積層、第二殘差模組和第二上采樣模組，所述第二卷積層接收輸入的張量并對張量的通道數進行壓縮以及對張量進行下采樣操作，經過壓縮和下采樣后的張量輸入至所述第二殘差模組，經過所述第二殘差模組處理后輸入至所述第二上采樣模組，所述第二上采樣模組進行上采樣操作并恢復張量的通道數；所述第一上采樣模組和所述第二上采樣模組分別與所述子級聯層連接，所述子級聯層、所述卷積層和所述級聯層依次連接，所述子級聯層對所述第一上采樣模組和所述第二上采樣模組輸出的張量進行級聯操作，所述卷積層將級聯后的張量的通道數壓縮至1并輸出相應的重建后的信息至所述級聯層；

步驟S3-2：設定網絡學習訓練時的復合損失函數

所述復合損失函數為：

loss＝η₁L₁{τ_GT,τ_output}+η₂SSIM{τ_GT,τ_output}+η₃L₁{F{τ_GT},F{τ_output}}

式中，τ_GT和τ_output分別表示網絡訓練時的真實值以及網絡的輸出值，η₁表示空域損失中L1的權重，η₂表示空域損失中SSIM的權重，η₃表示頻域損失在整體損失函數中所占的比重，F表示對有2個通道的三維張量的傅里葉變換，L1表示范數，SSIM表示結構相似度；

步驟S3-3：網絡學習訓練

使用Adam作為優化器，利用模擬數據對步驟S3-1搭建的網絡進行學習訓練，再利用實測數據對訓練后的網絡進行小樣本的學習訓練，訓練后得到所述傅里葉疊層重建網絡。

2.根據權利要求1所述的基于深度卷積神經網絡的傅里葉疊層顯微重建方法，其特征在于，

所述第一殘差模組和所述第二殘差模組均包括若干個順次連接的殘差模塊，每一個所述殘差模塊包括第一子卷積層、ReLU激活層、第二子卷積層以及將模塊的輸入和輸出連接在一起的恒等映射操作，所述第一子卷積層接收輸入的張量并將張量的通道數擴張，擴張后的張量經過所述ReLU激活層后，所述第二子卷積層將張量的通道數恢復至所述第一子卷積層擴張前的通道數并將恢復后的張量輸出。

3.根據權利要求2所述的基于深度卷積神經網絡的傅里葉疊層顯微重建方法，其特征在于，

所述第一卷積層將張量的通道數壓縮至64，所述第二卷積層將張量的通道數壓縮至64并將張量的尺寸下采樣到1/4；

所述第一子卷積層將張量的通道數擴張4倍，所述第二子卷積層將張量的通道數恢復到64。