[發明專利]一種基于相鄰切片推理的腦腫瘤弱監督分割方法及系統

在審

• 申請號: 202310043357.7
• 申請日: 2023-01-29
• 公開（公告）號: CN116051508A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 李紫薇
• 申請（專利權）人: 李紫薇
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T3/40;G06T7/12;G06T7/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，包括以下步驟：

步驟1，對MRI多模態腦腫瘤圖像進行預處理，得到MRI多模態腦腫瘤切片圖像及對應的圖像級標簽Y；

步驟2，將MRI多模態腦腫瘤切片圖像i及其相鄰的多模態腦腫瘤切片圖像i-1和i+1送入到切片特征提取模塊，使用特征提取器E進行特征的提取，分別獲得特征圖、和；

步驟3，將、和送入到相鄰切片推理模塊進行切片間信息的推理，獲得切片關系矩陣；

步驟4，將與送入全局加權平均池化模塊，得到具有代表性的特征值y；

步驟5，將y送入損失計算模塊，通過全連接層A獲得分類結果P，將P與Y進行損失計算，并對E和A進行訓練；

步驟6，將需要分割的MRI多模態腦腫瘤切片圖像送入到通過所述步驟1至5訓練好的E中進行特征提取，得到特征圖；

步驟7，將步驟6得到的特征圖送入到通過所述步驟1至5訓練好的A中進行直接計算，得到類激活映射圖；

步驟8，將得到的類激活映射圖進行二值化處理，得到最終的弱監督分割結果。

2.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟1中多模態是指原生(T1)、對比后T1加權(T1ce)、T2加權(T2)以及T2流體衰減倒置恢復(T2-FLAIR)四種模態，所述預處理包括對圖像進行灰度歸一化、切片操作、按照是否包含腫瘤確定標簽，其中未包含腫瘤標簽為{1,0}、包含腫瘤標簽為{0,1}。

3.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟2中，若切片處于邊緣，對于無i-1的切片使用i+2代替其i-1的切片，對于無i+1的切片使用i-2代替其i+1的切片。

4.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟2中的E采用現有的公開的ResNet-38結構并基于Pytorch框架搭建，使用基于開源數據集ImgeNet預訓練得到的網絡權值作為初始訓練權值，對于不同的切片特征提取器E共享權值。

5.根據權利要求1或2或3或4所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟2中，多模態切片在送入E前先送入1×1的卷積中進行通道對齊，使得四種模態組成的四通道數據對齊到E的三通道入口。

6.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟3中相鄰切片推理模塊基于注意力機制構建，通過7個1×1的分組卷積分別獲取的查詢向量、鍵值向量、數據項向量，和的鍵值向量和、數據項向量和?，的計算公式為。

7.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟4中y的計算公式為，其中c表示通道，h和l表示中的行和列，n表示中全部特征值的個數。

8.根據權利要求1或4所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟5中，損失函數使用Pytorch框架中多標簽分類損失F.multilabel_soft_margin_loss，使用Adam算法進行優化，得到E和A的最優模型參數。

9.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟7中，需要對從A中所得類激活映射圖進行雙線性插值上采樣操作與輸入數據長寬對齊，再進行歸一化操作，以獲得最終的類激活映射圖。

10.根據權利要求1所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法，其特征在于，所述步驟8中使用0.6作為二值化閾值。

11.一種基于相鄰切片推理的腦腫瘤弱監督分割系統，其特征在于，用于執行如權利要求1至10任一項所述的一種基于相鄰切片推理的腦腫瘤弱監督分割方法。