[發明專利]一種應用多注意力機制的醫學圖像分割方法及系統

有效

• 申請號: 202310274038.7
• 申請日: 2023-03-21
• 公開（公告）號: CN115984296B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 李臘全;葉鑫;文婷;劉暢;熊平;蘇強
• 申請（專利權）人: 譯企科技（成都）有限公司;重慶郵電大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/00;G06V10/42;G06V10/44;G06V10/80;G06V10/74;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種應用多注意力機制的醫學圖像分割系統，其特征在于，包括網絡架構，所述網絡架構包括編碼器模塊、解碼器模塊、融合模塊，所述編碼器模塊包括兩個獨立的編碼器，在兩個編碼器之間設置有跨模態互補特征學習注意力模塊CMFL；兩個獨立的編碼器用于接收互補的兩個模態圖像，通過CMFL模塊獲取跨模態之間的圖像特征位置響應權重信息，進行跨模態之間的圖像特征互補，獲得兩種跨模態圖像互補特征；融合模塊用于將兩種跨模態圖像互補特征融合后輸送至解碼器模塊解碼，融合模塊包括尺度雙重注意力模塊即MSDA模塊，所述MSDA模塊包括位置注意力模塊即PAM模塊和通道注意力模塊即CAM模塊；所述MSDA模塊用于將兩種跨模態互補特征圖像經不同大小卷積核提取多尺度特征后，在通道維度拼接獲得拼接特征圖像，然后采用并行方式用PAM模塊和CAM模塊分別捕獲位置特征依賴關系和通道特征依賴關系，最后將PAM和CAM兩個模塊的輸出進行融合。

2.基于權利要求1所述的醫學圖像分割系統的醫學圖像分割方法，其特征在于，包括以下步驟：S1、構建網絡結構，所述網絡結構包括編碼器模塊、解碼器模塊，所述編碼器模塊包括兩個獨立的編碼器，在兩個編碼器之間設置有跨模態互補特征學習注意力模塊CMFL；S2、將兩種互補模態的醫學圖像分別輸入至兩個編碼器中，由跨模態互補特征學習注意力模塊CMFL獲取兩種模態之間的跨模態圖像特征位置響應權重信息，進行跨模態之間的圖像特征互補，獲得兩種跨模態圖像互補特征；

S3、將兩種跨模態圖像互補特征進行特征融合再通過解碼器模塊解碼即可。

3.根據權利要求2所述的醫學圖像分割方法，其特征在于，跨模態互補特征學習注意力模塊CMFL通過計算一個模態的當前位置對另一個模態全局位置的響應權重來獲得兩種模態互補的重要信息，實現每個編碼器提取的單個模態的深度圖像特征與另一個模態的深度圖像特征相補充。

4.根據權利要求3所述的醫學圖像分割方法，其特征在于，跨模態互補特征學習注意力模塊CMFL可以用以下公式表示：

（1）

（2）

（3）

（4）

（5）

（6）

其中?N?是所有樣本的集合，用于標準化的函數，公式（1）和公式（2）中的和分別為第一種模態和第二種模態的標準化函數，即將、分別代入公式（5）可得和，、分別是第一種模態的輸入特征圖和第二種模態的輸入特征圖，代表當前位置響應，代表全局響應，是計算得到的與第一模態輸入特征大小相同的跨模態特征的輸出，?是計算得到的與第二模態輸入特征大小相同的跨模態特征的輸出，函數是計算一種模態下當前位置相應?和全局相應之間的相似度，為在第一種模態下使用第一種模態的局部響應來計算與第二種模態的全局響應的相似度，函數為在第二種模態下使用第二種模態的局部響應來計算與第一種模態的全局響應的相似度；?函數計算一種模態下輸入特征圖在?位置的特性表示，是指第一種模態下輸入特征圖在?位置的特性表示，是指第二種模態下輸入特征圖在位置的特性表示，和，均為可學習的權重矩陣，代表的是當前關注位置的信息，代表的是全局信息，通過兩者的相乘將信息變為可學習的，和的物理意義分別為模態學習的全局特征和局部特征，和分別代表第一種模態學習的全局特征和第二種模態學習的全局特征，和分別代表第一種模態學習的局部特征和第二種模態學習的局部特征，代表第一種模態的輸入特征當前關注位置信息，代表第一種模態的輸入特征的全局信息，代表第二種模態的輸入特征當前關注位置信息，代表第二種模態的輸入特征的全局信息。

5.根據權利要求2所述的醫學圖像分割方法，其特征在于，S3特征融合過程中，還包括多尺度雙重注意力模塊即MSDA模塊，所述MSDA模塊包括位置注意力模塊即PAM模塊和通道注意力模塊即CAM模塊，具體過程：將兩種跨模態互補特征圖像經不同大小卷積核提取多尺度特征后，在通道維度拼接獲得拼接特征圖像，然后采用并行方式用PAM模塊和CAM模塊分別捕獲位置特征依賴關系和通道特征依賴關系，最后將PAM和CAM兩個模塊的輸出進行融合。