[發明專利]一種基于DARTS網絡的多模態醫學圖像融合方法

有效

• 申請號: 202011467496.5
• 申請日: 2020-12-11
• 公開（公告）號: CN112488976B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 張旭明;葉少壯
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，包括：

S1.利用多模態醫學圖像數據對預先設置的DARTS模型進行網絡結構搜索，得到適用于多模態醫學圖像數據的DARTS網絡結構；DARTS網絡結構包括一個或多個串接的胞體；每個胞體包括多個節點；各個節點與前兩個胞體的輸出或當前胞體內其他節點通過不同的卷積操作連接；各個節點的通道合并作為胞體的輸出；

S2.構建多模態醫學圖像融合網絡；多模態醫學圖像融合網絡包括多通道DARTS網絡模塊、特征融合模塊、升采樣模塊；其中，多通道DARTS網絡模塊由多個并列的DARTS網絡結構構成；

DARTS網絡結構，用于對輸入圖像進行降采樣，得到對應的特征圖；特征融合模塊，用于對雙通道DARTS網絡模塊輸出的特征圖進行特征融合；升采樣模塊，對融合后的特征進行卷積升采樣，得到與輸入圖像尺寸相同的融合結果；

S3.利用多模態醫學圖像數據采用無監督學習方法對多模態醫學圖像融合網絡進行訓練；訓練多模態醫學圖像融合網絡的損失函數為：

其中，L_SSIM表示結構相似性損失，L_SCD表示差值互相關損失，L_MI表示互信息損失，L_MS–SSIM表示多尺度結構相似性損失，表示邊緣保護度損失，L_SR-MI表示基于結構表征的互信息損失，結構表征結果利用PCANet網絡來獲得，λ₁、λ₂分別為各組損失函數的權重；

差值互相關SCD反映融合圖像與源圖像的相關性之和，其計算公式如下：

L_SCD＝-(R(F-S₂，S₁)+R(F-S₁，S₂))

S₁與S₂分別表示兩幅源圖像，F表示融合圖像，R代表圖像相關性計算；

互信息MI表征融合圖像包含兩源圖像的信息量大小，其具體公式為：

L_MI＝-(I(S₁，F)+I(S₂，F))

I表示兩幅圖像的互信息計算；

結構相似性SSIM損失的公式如下：

邊緣保護度損失計算公式如下：

表示融合圖像F對兩幅源圖像S₁與S₂的邊緣保留程度；

S4.將待融合的多模態醫學圖像輸入訓練好的多模態醫學圖像融合模型，得到融合結果。

2.根據權利要求1所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，步驟S1中不同的卷積操作包括：卷積核大小為3的深度可分卷積，卷積核大小為5的深度可分卷積，卷積核大小為3的標準卷積，卷積核大小為5的標準卷積，卷積核大小為3的空洞卷積，卷積核大小為5的空洞卷積，跳躍連接。

3.根據權利要求1所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，DARTS網絡結構包括一個胞體。

4.根據權利要求3所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，所述胞體包括四個節點。

5.根據權利要求4所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，胞體中卷積步長置1，采用填充方式使特征圖與輸入圖像大小一致。

6.根據權利要求1所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，特征融合模塊，對雙通道DARTS網絡模塊輸出的特征圖進行特征融合，具體為，采用通道合并方式實現特征圖的融合。

7.根據權利要求1-6任一項所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，所述方法還包括對多模態醫學圖像數據進行數據增強。

8.根據權利要求7所述的一種基于DARTS網絡的多模態醫學圖像融合方法，其特征在于，所述數據增強包括平移、旋轉和非剛性形變。