[發明專利]一種基于神經網絡的無監督三維醫學圖像配準方法及系統

有效

• 申請號: 201910828807.7
• 申請日: 2019-09-03
• 公開（公告）號: CN110599528B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 趙秀陽;馬英君
• 申請（專利權）人: 濟南大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 劉雪萍

1.一種基于神經網絡的無監督三維醫學圖像配準方法，其特征在于，包

括步驟：

L1，圖像采集：從公開數據集OASIS和ADNI獲取三維醫學圖像，和/或：從CT、MRI或超聲成像儀的DICOM接口獲取三維醫學圖像；

L2，對獲取到的三維醫學圖像進行預處理：包括圖像分割、裁剪、歸一化處理和仿射對齊，并從仿射對齊后的圖像中選取任意一個圖像作為固定圖像I_F，其余圖像作為浮動圖像I_M；其中裁剪后的圖像大小一致；

L3，基于預處理后得到的固定圖像I_F和浮動圖像I_M訓練神經網絡，得到訓練好的神經網絡模型；

L4，將待配準的醫學圖像輸入上述訓練好的神經網絡模型進行配準，得到并輸出該待配準的醫學圖像的配準圖像；

其中步驟L3中，基于預處理后得到的固定圖像I_F和浮動圖像I_M訓練神經網絡，得到訓練好的神經網絡模型，包括：

S1、將預處理后得到的固定圖像I_F和浮動圖像I_M作為神經網絡的輸入層輸入神經網絡，每一組輸入數據均包括所述的固定圖像I_F和一個所述的浮動圖像I_M；

S2、對輸入層中輸入的固定圖像I_F和浮動圖像I_M進行下采樣，輸出特征圖；

所述的下采樣包括3個下采樣過程、以及位于該3個下采樣過程之后的一個卷積核大小為3×3×3的卷積計算過程和一個LeakyReLU激活函數計算過程；所述的3個下采樣過程對應3個下采樣過程層；所述的3個下采樣過程層，依下采樣過程的執行順序依次記為第一下采樣過程層、第二下采樣過程層和第三下采樣過程層；每個下采樣過程層均包括一個卷積核大小為3×3×3的卷積層、一個LeakyReLU激活函數層和一個最大池化層；

S3、對下采樣對應的第一下采樣過程層、第二下采樣過程層和第三下采樣過程層中的LeakyReLU激活函數層輸出的特征圖分別進行特征重加權，得到三個加權后的特征圖，依次為：第一加權特征圖、第二加權特征圖、第三加權特征圖；

S4、對步驟S2中輸出的特征圖進行1×1×1卷積，輸出浮動圖像I_M到固定圖像I_F的變形場

S5、將步驟S2中輸出的特征圖輸入上采樣層進行上采樣，所述的上采樣層包括3個上采樣過程層，每個上采樣過程層均包括一個UpSampling層和一個卷積核大小為3×3×3的卷積層，每個上采樣過程層中的卷積核大小為3×3×3的卷積層后分別設有LeakyReLU激活函數層；3個上采樣過程層對應所述上采樣的3個上采樣過程；所述的3個上采樣過程層，依所述3個上采樣過程發生的順序依次記為第一上采樣過程層、第二上采樣過程層和第三上采樣過程層；

其中，第一上采樣過程層的UpSampling層輸出的特征圖與所述的第三加權特征圖融合后，作為第一上采樣過程層中卷積核大小為3×3×3的卷積層的輸入；第二上采樣過程層的UpSampling層輸出的特征圖與所述的第二加權特征圖融合后，作為第二上采樣過程層中卷積核大小為3×3×3的卷積層的輸入；第三上采樣過程層的UpSampling層輸出的特征圖與所述的第一加權特征圖融合后，作為第三上采樣過程層中卷積核大小為3×3×3的卷積層的輸入；

S6、對上述第一上采樣過程層、第二上采樣過程層和第三上采樣過程層輸出的特征圖分別進行1×1×1卷積，輸出第一上采樣過程層、第二上采樣過程層和第三上采樣過程層對應的浮動圖像I_M到固定圖像I_F的變形場，依次為變形場變形場和變形場

S7、將浮動圖像I_M和上述輸出的變形場輸入到空間變換網絡、將浮動圖像I_M和上述輸出的變形場輸入到所述空間變換網絡、將浮動圖像I_M和上述輸出的變形場輸入到所述空間變換網絡、將浮動圖像I_M和上述輸出的變形場輸入到所述空間變換網絡，分別經所述空間變換網絡的空間變換，對應得到浮動圖像I_M對應的變形后的圖像，依次為變形后的圖像變形后的圖像變形后的圖像以及變形后的圖像

S8、基于上述輸出的變形場變形場變形場以及基于上述得到的變形后的圖像變形后的圖像變形后的圖像變形后的圖像利用損失函數計算固定圖像I_F與所述變形后的圖像之間的損失函數值，并對神經網絡進行反向傳播優化，直至計算所得的損失函數值不再變小或網絡訓練達到預先設定的訓練迭代次數，神經網絡訓練完成，得到所述的訓練好的神經網絡模型；

所述損失函數的計算表達式為：

在此式①中，表示計算所得的損失函數值，α、β均為常數且α+β＝1，是正則項，λ是正則化控制常數參數，表示預先給定的由所述固定圖像I_F降采樣得到的三維醫學圖像；三維醫學圖像的大小，依次與所述變形后的圖像相等，三維醫學圖像的分辨率依次降低并且均小于所述固定圖像I_F的分辨率，表示所述固定圖像I_F與所述變形后的圖像之間的相似度度量，表示上述三維醫學圖像與所述變形后的圖像之間的相似度度量，表示上述三維醫學圖像與所述變形后的圖像之間的相似度度量，表示上述三維醫學圖像與所述變形后的圖像之間的相似度度量；采用相同的相似度度量函數；

步驟S3中所述特征重加權的實現步驟包括：

步驟S31、記下采樣中輸出的每個要進行特征重加權的特征圖均為特征圖X，該X∈R^(H×W×D)，對特征圖X在其D維度上進行切片處理，使用全局平均池化策略對切片處理得到的每個切片x∈R^(H×W)進行全局平均池化處理，得到特征圖X其D維度上的每個切片x的切片描述符z，每個切片描述符z的具體公式如下：

式中(i，j)表示切片x上的像素點，x(i，j)表示切片x在像素點(i，j)處的灰度值；

步驟S32、獲取所述特征圖X其D維度上的每個切片x的權重s，其中每個切片x的權重s的計算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函數，δ是ReLU激活函數，z為步驟S31中得到的切片x的切片描述符；

步驟S33、將步驟S32中獲取的每個權重s對應加載到各自對應的切片上，得到特征圖X其D維度上的每個切片x對應的重加權后的切片其中所述每個切片x對應的特征重加權計算公式如下：

該式中，F_scale(x，s)表示切片x及其對應權重s之間的乘法操作；

步驟S34、基于步驟S33中得到的特征圖X其D維度上的每個切片x對應的重加權后的切片對應得到所述特征圖X對應的重加權后的特征圖