[發明專利]一種基于圖像融合技術的多模態圖像分割方法

在審

• 申請號: 202210128620.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114494322A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 劉羽;牧富豪;成娟;李暢;宋仁成;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/174
• 分類號: G06T7/174;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于圖像融合技術的多模態圖像分割方法，包括：第一步，融合多模態圖像：數據獲取及預處理，建立基于像素級的融合網絡，訓練網絡和輸出融合模態圖像；第二步，分割多模態圖像：數據獲取及預處理，建立基于特征級融合的多模態特征選擇模塊與分割網絡，分割網絡訓練和分割圖像后處理。本發明從像素級融合和特征級融合兩個角度提升了圖像分割的精度，為圖像的進一步分析處理提供了有力的支持。

技術領域

本發明涉及多模態圖像分割及深度學習技術領域，具體涉及一種基于圖像融合技術的多模態圖像分割方法。

背景技術

圖像分割是將圖像分成若干個特定的、感興趣的且具有獨特性質的區域。圖像分割是圖像處理到圖像分析的關鍵步驟。隨著信息技術的飛速發展，數據資源迎來了井噴式的增長，其形式也日益多樣化，多模態數據已成為數據資源的主流形式。多模態數據具有更多的信息，更強的特征表達能力。不同模態數據能反應出不同的數據特點，多模態數據更易于尋找規律，解決問題。利用不同模態之間的互補信息，剔除冗余信息，這對圖像分割過程中分割目標效果的提升具有重要作用。因此，研究同時涉及到多種輸入模態的多模態學習方法，增強圖像分割技術理解多源異構海量數據的能力，這具有巨大的應用前景和廣泛的研究價值。

醫學圖像數據中多模態磁共振成像(magnetic resonance imaging，MRI)技術經常生成多種模態圖像，以更好的反應組織的病理信息與組織結構信息。比較常見的3D MRI模態包括T1加權成像(T1)，對比后T1加權成像(T1ce)，T2加權成像(T2)和T2液體衰減反轉恢復成像(FLAIR)。T1、T2是用于測量電磁波的物理量，它們可以作為成像的數據。T1圖像能很好地反應出各種斷層解剖結構，T2圖像能很好地反應出水腫等病理區域的位置及大小。T1ce能很好地反應出血流豐富的區域，也就是病理內部區域，其對鑒定是否為病變區域有重要作用。FLAIR圖像能清晰地表現出浮腫區域，其能更好地反應病理區域周遭的情況。單個模態的MR圖像只能重點反應出個別圖像特征，多模態圖像可以得到更細致的組織結構和病理信息。

與自然圖像相比，醫學圖像更加復雜抽象。這是由于人體的解剖結構和組織較為復雜，不同個體之間差異比較大。成像設備也可能會受噪音、局部體效應、場偏移效應和組織運動等因素影響成像質量。醫學圖像在正樣本像素和負樣本像素之間存在不平衡問題，類不平衡的問題會為基于深度學習的圖像分割方法帶來不利影響。近年來，已經提出了很多圖像分割的方法。傳統的基于閾值、區域和像素聚類的圖像分割方法很難在圖像分割問題中取得令人滿意的結果。深度學習方法憑借其在圖像分割上的顯著優勢逐漸成為圖像分割技術的主流方式，其通過識別原始圖像中潛在的規律，提取圖像特征，以達到準確高效的圖像分割效果。一些方法采用2D切片或者3D塊方式，建立卷積神經網絡來預測中心體素類別。但是這種方式忽略了不同切片或者塊之間的聯系，為了更好的利用全局信息，Encoder-Decoder的網絡結構表現出的性能更加優異，比如U-Net，V-Net等。現存方法大多是直接將多模態圖像或者提取的淺層特征在一個維度上連接起來輸入至分割網絡中，沒有考慮到多個模態之間的差異性與互補性，對多模態圖像的使用不充分不精細，這對圖像分割的效果提升顯然是不利的。

發明內容

本發明為了克服多模態圖像分割對多模態圖像信息使用不充分不精細的問題，提供一種基于圖像融合技術的多模態圖像分割方法，以期能從像素級融合與特征級融合兩個角度提升圖像分割精度，從而為圖像分析提供可靠支持。

本發明為解決上述問題采用如下技術方案：

本發明一種基于圖像融合技術的多模態圖像分割方法的特點包括以下步驟：

步驟1：融合多模態圖像：

步驟1.1：數據獲取及預處理：