[發明專利]多模態醫學圖像分割方法、系統、存儲介質及電子設備

有效

• 申請號: 202010112491.4
• 申請日: 2020-02-24
• 公開（公告）號: CN111353499B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 錢曉華;李鈞
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06K9/62;G06T7/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 陳珊珊

1.一種多模態醫學圖像分割方法，其特征在于，包括：

構建共享特征編碼器及平行解碼器網絡；

將不同模態的醫學圖像數據輸入所述共享特征編碼器，由所述共享特征編碼器提取各所述模態之間的相似解剖結構特征；

構建判別器；令所述判別器與所述共享特征編碼器進行對抗學習，以優化所述共享特征編碼器提取模態間的相似解剖結構特征的能力；

將所述共享特征編碼器輸出的各所述模態的相似解剖結構特征一一對應地輸入所述平行解碼器網絡中的各解碼器，由各所述解碼器分別在各所述模態的相似解剖結構特征的基礎上突出各所述模態的特異性，從而輸出各所述模態的醫學圖像數據的分割結果。

2.根據權利要求1所述的方法，其特征在于，所述判別器與所述共享特征編碼器進行對抗學習的實現過程包括：

訓練所述共享特征編碼器，以使所述共享特征編碼器的對抗性損失達到最大化，同時，最小化所述判別器的判別損失，以使所述判別器與所述共享特征編碼器的博弈達到平衡；

其中，所述對抗性損失所述判別損失的函數表示為x_t1與x_t2是來自不同模態分布X_t1和X_t2的輸入圖像，E指代分布的期望，D是判別器模型；θ_E和θ_D分別表示所述共享特征編碼器和所述判別器中的可訓練參數；f_t1和f_t2分別表示T1與T2經過所述共享特征編碼器得到的編碼特征。

3.根據權利要求1所述的方法，其特征在于，還包括：

構建采用多尺度平均絕對誤差損失函數的對抗性判別網絡；

令所述對抗性判別網絡在所述平行解碼器網絡執行分割任務的過程中突出不同模態的解剖結構特征的特異性，以優化各所述解碼器的解碼質量。

4.根據權利要求3所述的方法，其特征在于，所述多尺度平均絕對誤差的對抗性損失函數的定義為：

其中，θ_S表示由所述共享特征編碼器及所述平行解碼器網絡構成的整個分割網絡的可訓練參數集合；θ_D表示所述對抗性判別網絡的可訓練參數集合；N表示所述解碼器的層數；表示原始圖像和被分割模型S預測的概率圖的逐像素級乘法；表示原始圖像與標簽的像素級乘法；f_D(x)表示所述判別器從x提取的分層特征；l_mae表示為平均絕對誤差，又被稱為L1距離，具體表示如下：

其中，M表示所述判別器的層數；表示所述判別器的第i層特征，x與x^*分別代表和的結果。

5.根據權利要求1所述的方法，其特征在于，

所述共享特征編碼器包括：多個編碼模塊和與之一一對應的池化層；各所述編碼模塊均由兩個大小為3×3，步長為1×1的卷積組成；所述池化層的池化核的大小為2×2；所述判別器采用四層卷積；

所述平行解碼器網絡包括：多個解碼模塊，各所述解碼模塊均由一個反卷積和兩個大小為3×3且步長為1×1的卷積組成；最終的輸出采用1×1卷積來實現像素級二分類。

6.一種多模態醫學圖像分割系統，其特征在于，包括：

共享特征編碼器；所述共享特征編碼器用于獲取未配準的不同模態醫學圖像數據，從中提取各所述模態之間的相似解剖結構特征；

判別器；所述判別器用以與所述共享特征編碼器進行對抗學習，以優化所述共享特征編碼器提取模態間的相似解剖結構特征的能力；

平行解碼器網絡；所述平行解碼器網絡的各解碼器用于一一對應地獲取所述共享特征編碼器輸出的各所述模態的相似解剖結構特征，分別在各所述模態的相似解剖結構特征的基礎上突出各所述模態的特異性，從而輸出各所述模態的醫學圖像數據的分割結果。

7.根據權利要求6所述的系統，其特征在于，還包括：

采用平均絕對誤差損失函數的對抗性判別網絡；所述對抗性判別網絡用以在所述平行解碼器網絡執行分割任務的過程中突出不同模態的解剖結構特征的特異性，以優化各所述解碼器的解碼質量。