[發明專利]一種基于圖像融合技術的多模態圖像分割方法

在審

• 申請號: 202210128620.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114494322A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 劉羽;牧富豪;成娟;李暢;宋仁成;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/174
• 分類號: G06T7/174;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于圖像融合技術的多模態圖像分割方法，其特征包括以下步驟：

步驟1：融合多模態圖像：

步驟1.1：數據獲取及預處理：

根據分割需求選取第一模態圖像S₁和第二模態圖像S₂并作為源模態圖像后對其隨機裁剪成尺寸為L×H×W的圖像樣本后再進行歸一化處理，從而得到預處理后的第一模態圖像S′₁和第二模態圖像S′₂；

步驟1.2：建立基于像素級的融合網絡：

所述像素級的融合網絡包含兩個結構相同的分支，每個分支均包含一個卷積層Conv_x和一個殘差層Res-conv_x，x＝1或2；其中，殘差層是由兩個卷積層跳躍連接組成；其中，卷積層包括：1個三維卷積層，1個批量歸一化層以及1個ReLU激活函數層；

每個分支接收一種模態圖像集，從而將預處理后的第一模態圖像集S′₁和第二模態圖像集S′₂分別經過兩個分支的處理后，相應輸出第一模態特征圖F₁和第二模態特征圖F₂；

將第一模態特征圖F₁和第二模態特征圖F₂拼接后依次輸入第三個殘差層Res-conv₃的處理后再經過兩個卷積層Conv₃和Conv₄以及一個激活函數層的處理，并得到權重圖m，從而利用式(1)得到所述像素級的融合網絡輸出的融合模態圖像F：

F＝mS₁+(1-m)S₂ (1)

步驟1.3：構建如式(2)所示的損失函數L_fusion：

L_fusion＝L_pixel+αL_ssim (2)

式(2)中，α是平衡兩項損失在同一數量級的參數，L_pixel與L_ssim分別代表訓練的像素損失和結構相似性損失，并有：

L_ssim＝γ(1-SSIM(F,S₁))+(1-SSIM(F,S₂)) (4)

式(3)中，β表示權重系數，表示F范數；

式(4)中，γ表示權重系數，SSIM(·)表示結構相似度；

步驟1.4：基于預處理后的第一模態圖像S′₁和第二模態圖像S′₂訓練像素級的融合網絡，并采用反向傳播算法對所述損失函數L_fusion進行優化求解，從而調整所述融合網絡中所有參數，當訓練迭代次數達到設定的次數或損失函數L_fusion的值達小于所設定的閾值時，訓練停止，從而得到最優融合模型及其輸出的融合圖像，并將輸出的融合圖像還原至源模態圖像的尺寸，得到最優融合圖像F^*；

步驟2：分割多模態圖像：

步驟2.1：數據預處理：

將源模態圖像與最優融合圖像F^*拼接后隨機裁剪成尺寸為L₁×H₁×W₁的圖像塊并進行歸一化處理，得到預處理后的N個圖像塊，且每個圖像塊對應一個模態；獲取源模態圖像對應的真實標簽圖像g；

步驟2.2：建立基于特征級融合的多模態特征選擇模塊：

根據圖像塊的模態數量N，設置所述多模態特征選擇模塊包含的并行分支個數為N，使得每個并行分支對應一種模態圖像；

第n個并行分支使用一個卷積層來提取對應第n種模態的圖像塊的淺層特征U_n，從而得到N個尺寸為L₁×H₁×W₁×C的淺層特征U₁,U₂,…,U_n…,U_N，n＝1,2,...,N，C為通道數；

將不同并行分支提取的淺層特征U₁,U₂,…,U_n…,U_N相加得到中間融合特征U，再將中間融合特征U通過一個全局平局池化層的處理后得到尺寸為1×1×1×C的通道特征向量s_C；

使用一個卷積層對所述通道特征向量s_C進行下采樣操作以降低通道數量，從而得到尺寸為1×1×1×C/r的特征向量z；

N個并行分支對所述特征向量z使用N個卷積層的上采樣處理，得到N個尺寸為1×1×1×C的特征向量并使用softmax層的激活處理，得到N個分支上的權重向量t₁,t₂,…,t_n,…,t_N，從而利用式(5)得到多模態特征選擇模塊輸出的融合特征V：

式(5)中，t_n表示第n個分支上的權重向量，U_n表示第n個分支上的淺層特征；

步驟2.3：建立分割網絡，并將融合特征V輸入所述分割網絡中進行處理，得到分割結果圖像p；

步驟2.4：構建如式(6)所示的損失函數L_seg：

L_seg＝L_dice+λL_bce (6)

式(6)中，λ是權重系數，L_dice與L_bce分別代表訓練的Dice損失與BCE損失，并有：

式(7)和式(8)中，p_i代表分割結果圖像p中第i個像素點的預測值，g_i代表真實標簽圖像g中第i個像素點的真實標簽值，v代表圖像像素點的數量；

步驟2.4.2：基于源模態圖像S₁，S₂，融合模態圖像F及真實標簽圖像g對所述分割網絡進行訓練，并采用反向傳播算法對所述損失函數L_seg進行優化求解，從而調整所述分割網絡中所有參數，當訓練迭代次數達到設定的次數或損失函數L_seg的值達小于所設定的閾值時，訓練停止，從而得到最優分割模型；

步驟2.5：將待分割的多模態圖像輸入至所述最優分割模型中，并得到分割結果后還原至原始尺寸，從而得到最終的分割圖像。