[發明專利]一種基于深度學習的多模態擴散光學層析成像重建方法

在審

• 申請號: 202110258626.2
• 申請日: 2021-03-09
• 公開（公告）號: CN113066144A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 馮金超;張萬龍;賈克斌;孫中華;李哲
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種基于深度學習的多模態擴散光學層析成像重建方法，其特征在于：構建Z-Net神經網絡將光學信號與核磁共振圖像同時作為網絡輸入，通過網絡訓練直接建立光學信號與光學特性參數之間的非線性關系，實現光學信號到光學特性參數的端到端重建，而無需構建描述光子在生物組織內傳輸規律的數學模型，也不需要對核磁共振圖像進行圖像分割處理；

所述的Z-Net神經網絡具體包括：

步驟1、光學信號作為網絡的第一個輸入，通過下采樣操作映射到空間然后經過四層上采樣得到光學信號的特征；

首先下采樣的實現過程為：

其中為經下采樣的輸出，k_3×3代表大小為3×3的卷積核，σ(·)代表批歸一化BN和線性整流ReLU操作，P為池化操作，*代表卷積操作,L代表雙采樣線性插值操作，用來改變輸出尺寸，該步操作可接受不同尺寸的光學信號作為輸入；

每層上采樣操作包括反卷積操作和卷積操作，以及BN和ReLU處理，其中，每層上采樣的輸出為：

其中作為每個上采樣層的輸入，為反卷積操作，k_2×2為大小為2×2的卷積核；

步驟2、核磁共振圖像m作為網絡的第二個輸入，先通過卷積操作改變通道數，然后進行四層下采樣，最終獲取核磁共振圖像的結構信息；

首先卷積操作實現過程為：

ψ⁰＝σ(σ(m*k_1×1)*k_1×1) (3)

其中ψ⁰為采樣操作的輸出，此操作中k_1×1為1×1大小卷積核，該步驟用于改變通道數大小；

每層下采樣包括兩步卷積操作和最大池化操作，以及BN和ReLU處理，其中，每層下采樣的輸出為：

ψⁿ＝P_max(σ(σ(ψ^n-1*k_3×3)*k_3×3)) n＝1，2，3，4 (4)

其中ψ^n-1為每層下采樣操作的輸入，P_max為最大池化(maxpooling)操作；

步驟3、經步驟1得到的光學信號的特征與步驟2得到的結構特征用跳連接結合進行融合后，進行上采樣操作，最終輸出光學特性參數圖像，并且要保證融合的特征之間具有相同結構；其中和ψ⁴的融合為：

其中φ⁰為該層網絡輸出的特征值，為concatenation操作，然后將具有相同結構的特征值采取相似融合操作，每個融合層輸出為：

最終將經過四層融合后的輸出φ⁴進行卷積采樣操作，用于改變通道數，網絡最終輸出光學特性參數圖像

2.根據權利要求1所述的一種基于深度學習的多模態擴散光學層析成像重建方法，其特征在于：網絡訓練采用Adam優化器以及MSE損失函數來不斷更新網絡權重及偏置，直至模型誤差滿足要求或達到其他訓練停止條件時停止訓練。