[發明專利]基于Grad-CAM的醫學圖像分割模型可視化方法

在審

• 申請號: 202111096769.4
• 申請日: 2021-09-18
• 公開（公告）號: CN113781465A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 蔣振剛;張麗媛;師為禮;李巖芳;苗語;何巍;何飛;趙家石;張科;曲峰;秦俊;馮冠元;肖夢瑩
• 申請（專利權）人: 長春理工大學;長春理工大學重慶研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 尹慶娟

1.基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，包括以下步驟：

步驟一：將三個醫學影像數據集的圖像通過數據增強技術后獲取到增強后的圖像，將增強后的圖像作為輸入圖像X，所述輸入圖像X的尺寸為H×W；三個醫學影像數據集分別為CVC-Clinic、3Dircadb和Lesion Boundary Segmentation dataset from ISIC-2018；

步驟二：將步驟一中獲得的輸入圖像輸入至預訓練好的醫學影像分割模型進行前向傳播，通過醫學影像分割模型輸出尺寸為H×W的二值圖像；

步驟三：將步驟二中輸出的尺寸為H×W的二值圖像轉換為形狀為1×M的向量P，其中M＝H×W，并將向量P經過softmax激活操作歸一化后生成S；

步驟四：根據公式(一)對步驟三中獲得的S計算感興趣區域T₁，其中分位數α決定了需要通過反向傳播的感興趣區域，α設定為0.5；

T₁＝{s_i∈S|s_i＞α} (一)

步驟五：根據公式(二)將步驟四中獲得的感興趣區域T₁的像素值加和得到分割感興趣區域的得分根據公式(三)獲得步驟三中獲得的S中其他區域的得分

步驟六：由對預訓練好的醫學影像分割模型中編碼器中任意一層卷積層輸出的特征圖反向求梯度后，經過寬和高維度的全局平均池化，根據公式(四)計算獲得所述特征圖的神經元重要性權重

其中：A^K為預訓練好的醫學影像分割模型中編碼器中任意一層卷積層輸出的特征圖的激活值；

為預訓練好的醫學影像分割模型中編碼器中任意一層卷積層輸出的特征圖中索引值為i，j的像素；

Z為所述特征圖中像素的個數；

步驟七：將步驟六中獲得的作為權重與所述特征圖加權求和得到粗略熱圖R^c；

步驟八：使用ReLU激活函數將步驟七中獲得的粗略熱圖R^c突出對分割結構有積極影響的區域L^c，L^c＝ReLU(R^c)；

步驟九：將步驟八獲得的L^c放大至輸入圖像X大小得到最終熱圖H^c，將放大后的最終熱圖H^c和輸入圖像X疊加后獲得的圖像作為可視化結果。

2.根據權利要求1所述的基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，步驟二中所述的預訓練好的醫學影像分割模型具體為Double U-Net，R2U-Net以及MCGU-Net三醫學影像分割模型。

3.根據權利要求1所述的基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，步驟三所述的將步驟二中輸出的尺寸為H×W的二值圖像轉換為形狀為1×M的向量P具體為：

P＝(a₁,a₂,a₃,..,a_i)，i∈[1，H×W]，其中a_i為輸出的尺寸為H×W的二值圖像中的像素值。

4.根據權利要求1所述的基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，步驟三中所述的將向量P經過softmax激活操作歸一化后生成S具體為S＝Softmax(P)。

5.根據權利要求1所述的基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，步驟六中所述的預訓練好的醫學影像分割模型中編碼器中任意一層卷積層輸出的特征圖選取預訓練好的醫學影像分割模型中編碼器中最后一層卷積層輸出的特征圖。

6.根據權利要求1-5中任意一項所述的基于Grad-CAM的醫學圖像分割模型可視化方法，其特征在于，步驟八所述的使用ReLU激活函數將步驟七中獲得的粗略熱圖L^c突出對分割結構有積極影響的區域具體L^c為