[發明專利]一種基于DARTS網絡的多模態醫學圖像融合方法

有效

• 申請號: 202011467496.5
• 申請日: 2020-12-11
• 公開（公告）號: CN112488976B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 張旭明;葉少壯
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/00
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了一種基于DARTS網絡的多模態醫學圖像融合方法，屬于圖像處理與分析中的圖像融合技術領域。本發明采用可微架構搜索(Differentiable Architecture Search,DARTS)網絡對多模態醫學圖像進行特征提取，該網絡在搜索階段以網絡權重的梯度作為損失函數來進行學習，在不同卷積操作、不同節點的連接之間選擇出最適應于當前數據集的網絡結構，使得網絡提取得到的特征細節更加豐富；同時本發明采用能表征圖像灰度信息、相關性、細節信息、結構特征及圖像對比度的多種指標作為網絡損失函數，可在無需金標準情況下，以無監督學習方式實現醫學圖像的有效融合，在圖像細節保護及圖像對比度提升等方面較現有方法具有更優的融合效果。

技術領域

本發明屬于圖像處理與分析中的圖像融合技術領域，更具體地，涉及一種基于DARTS網絡的多模態醫學圖像融合方法。

背景技術

隨著醫學成像技術的發展，越來越多的醫學成像技術如超聲成像(US)、計算機斷層掃描(CT)、磁共振成像(MRI)、正電子發射斷層掃描(PET)和單光子發射計算機斷層掃描(SPECT)被應用于人體各個器官疾病的診斷與評估中。每種醫學成像技術都有其優缺點，如CT成像可涵蓋人體各個解剖部位，密度分辨率高，但是其空間分辨率低，關節肌肉顯示差，存在偽影。而MR成像具有高度軟組織分辨能力，無骨偽影及重疊偽影，缺點是掃描時間長，空間分辨率低于CT。多模態醫學圖像融合可將不同模態下圖像特有的信息整合在一副圖像里，便于醫生觀察診斷。因此，多模態醫學圖像融合在臨床發揮著重要的作用，如在臨床中將US與MRI融合實現前列腺穿刺活檢，將PET與CT融合實現肺癌檢測等。

傳統的圖像融合算法主要分為像素級、特征級和決策級的圖像融合方法。其中像素級融合能獲得較高的精度，實施簡單，但是其抗干擾能力差，對噪聲敏感，在醫學圖像融合中容易產生偽影，影響醫生診斷準確率；特征級融合方法中特征提取主要來自人工設計的方法，因醫學圖像的復雜性，人工設計的特征很難適應不同的醫學圖像；決策級融合對噪聲不敏感，但是其融合精度差，實施困難，并且獲得的融合圖像信息量少，用于醫學圖像融合很容易丟失重要信息。

深度學習可從大量樣本中集中學習樣本的特征信息，近年來被廣泛用于圖像處理和分析任務，如圖像分割、圖像配準和圖像融合等。就圖像融合而言，由于沒有金標準，基于深度學習的圖像融合方法可分為以下兩類：第一類是利用深度學習方法來提取特征，然后基于提取的特征，采用傳統的融合策略對圖像進行融合；第二類是端對端的融合方法。第一類方法的具體做法是使用預訓練的深度學習模型進行特征的提取，采取傳統的策略進行特征融合以及后續的融合圖像重建。第二類方法可分為有監督方法和無監督方法，其具體做法是提出一種端到端的網絡結構，采用MSE以及SSIM等測度，對圖像融合數據集進行訓練，將訓練好的模型直接用于圖像融合。

對于第一類方法而言，其實現簡單，直接用預訓練的模型以及一些傳統的融合、重建策略進行圖像融合，省去了訓練步驟，但是由于預訓練模型是適用于某個特定數據集，因此此種方法泛化能力較差，不適用于多種數據集或者是多任務圖像融合。對于第二類方法而言，其可通過使用合適的網絡結構以及對數據集的訓練，提升網絡提取圖像特征的能力，配合卷積升采樣等一些步驟，較好地實現端到端的圖像融合。在該類方法中，網絡結構的設計和網絡的損失函數至關重要，現有的此類融合方法在網絡結構方面通常采用簡單的CNN和ResNet網絡結構，并采用簡單的MSE和SSIM等測度，很難確保融合圖像質量。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于DARTS網絡的多模態醫學圖像融合方法，其目的在于提高多模態醫學圖像融合后的圖像質量。

為實現上述目的，本發明提供了一種基于DARTS網絡的多模態醫學圖像融合方法，包括：