[發明專利]基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法

在審

• 申請號: 202210170051.3
• 申請日: 2022-02-23
• 公開（公告）號: CN114549318A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 劉欣;劉成成;李博藝;他得安
• 申請（專利權）人: 復旦大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00;G06F30/27;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 程宗德

1.一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于，包括以下步驟：

步驟S1，基于三維亞體素卷積神經網絡構建深度學習模型并進行訓練，將訓練好的深度學習模型作為超高分辨三維光學顯微成像模型；

步驟S2，獲取待成像的原始三維熒光顯微圖像序列；

步驟S3，將所述原始三維熒光顯微圖像序列輸入至所述超高分辨三維光學顯微成像模型中以獲取每一幀對應的超高分辨熒光探針定位結果；

步驟S4，將所有幀的所述超高分辨熒光探針定位結果進行疊加，獲得超高三維熒光顯微成像圖，

其中，所述三維亞體素卷積神經網絡包含若干個三維卷積層、三分支多尺度卷積模塊以及與所述三維卷積層跳躍連接的殘差模塊。

2.根據權利要求1所述的一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于：

其中，所述超高分辨三維光學顯微成像模型通過以下步驟得到：

步驟S1-1，基于三維亞體素卷積神經網絡構建深度學習模型；

步驟S1-2，獲取仿真訓練數據；

步驟S1-3，構建損失函數；

步驟S1-4，將所述仿真訓練數據作為輸入，使用所述損失函數對所述深度學習模型采用Adam優化算法進行優化遍歷訓練，得到所述超高分辨三維光學顯微成像模型。

3.根據權利要求2所述的一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于：

其中，所述仿真訓練數據基于以下步驟得到：

步驟S1-3-1，在預定像素的三維網格區域中生成隨機分布在仿真結構模板內的若干個熒光分子，基于光學顯微成像系統對當前分布進行仿真成像；

步驟S1-3-2，隨機改變所述仿真結構模板內激活的熒光分子的位置，利用所述光學顯微成像系統再次進行仿真成像；

步驟S1-3-3，將所述步驟S1-3-2重復預定次數并獲取預定幀仿真光學圖像；

步驟S1-3-4，利用前向模型通過在所述熒光分子的真實位置處的沖激函數與三維PSF卷積從而模擬光學成像過程，獲得無噪聲仿真光學圖像；

步驟S1-3-5，為所述無噪聲仿真光學圖像逐一添加背景噪聲得到有噪聲仿真光學圖像，將所述有噪聲仿真光學圖像作為所述仿真訓練數據。

4.根據權利要求2所述的一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于：

其中，所述損失函數為MSE與L₁正則化的結合：

式中，y是訓練標簽，熒光分子真實分布的成像圖，是網絡的預測輸出圖像，N是網絡每次優化遍歷的小批量圖像數量。

5.根據權利要求2所述的一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于：

其中，在所述優化遍歷訓練中，訓練周期為600，網絡每次優化遍歷的小批量圖像數量N為8，初始學習率為0.0001。

6.根據權利要求1所述的一種基于亞體素卷積神經網絡的超高分辨熒光顯微成像方法，其特征在于：

其中，所述三維卷積層為10個，

第1個卷積層用于提取圖像的淺層特征，

第2個卷積層至第4個卷積層引入跳躍連接構成一個所述殘差模塊，用于實現局部殘差學習，

第5個卷積層至第7個卷積層用于學習同尺度深層特征，

所述三分支多尺度卷積模塊在第5個卷積層至第7個卷積層之后，該三分支多尺度卷積模塊采用具有不同感受野的支路學習多尺度特征，并添加跳躍連接用于殘差學習，

第6個卷積層和第9個卷積層相連接，用于實現不同層次、尺度的特征融合，

第10個卷積層用于實現上采樣操作。