[發明專利]一種基于醫學影像的視覺解釋方法有效

申請號：	202310241807.3	申請日：	2023-03-14
公開（公告）號：	CN116309431B	公開（公告）日：	2023-10-27
發明（設計）人：	劉洋;鄭堯	申請（專利權）人：	中國人民解放軍空軍軍醫大學
主分類號：	G06T7/00	分類號：	G06T7/00;G06T7/11;G06V10/80;G06V10/764
代理公司：	西安銘澤知識產權代理事務所(普通合伙) 61223	代理人：	張舉
地址：	710032 陜西***	國省代碼：	陜西;61
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于醫學影像視覺解釋方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于醫學影像的視覺解釋方法，涉及圖像識別技術領域，包括以下步驟：獲取醫學圖像；將醫學圖像輸入至基于子區域的融合預測模型，輸出可視化解釋；根據可視化解釋對醫學圖像進行視覺解釋；將醫學圖像輸入至基于子區域的融合預測模型，輸出可視化解釋，包括：基于骨干網絡的注意力機制對基于子區域的多尺度特征進行提取，基于骨干網絡的漸進卷積結構對基于高分辨率的多尺度特征進行提取；基于融合頸部對提取的多個多尺度特征進行融合；基于預測頭輸出可視化解釋。本發明提供的一種基于醫學影像的視覺解釋方法，在分類方面優于大多數強基線模型，并且可視化結果緩解了低分辨率和注意力漂移的問題，大大改善了主流的可視化方法。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種基于醫學影像的視覺解釋方法。

背景技術

基于術前圖像的腫瘤分類任務可以有效地輔助治療決策，被認為是計算機診斷的重要任務。許多基于數字圖像和人工智能的方法已經被用于膠質瘤分級，卷積神經網絡可以被認為是實現優異性能的有效方法。然而，確保預測的魯棒性和生成基于卷積神經網絡的分類器的良好可視化仍然是困難的。

清晰的可視化解釋對于深度學習模型在醫療領域的應用具有重要價值。高分辨率的可視化解釋可以展示模型用于預測的腫瘤部位(如水腫或壞死區域)，從而有效地說服臨床醫生，并為他們帶來一些不同的影像學見解。

目前，已經提出的cam(類激活映射)，如Grad-CAM和Grad-CAM++，用于生成分類輸出的可視化解釋。由于多層卷積后的特征圖包含豐富的空間和語義信息，這些方法往往在權重上引入梯度，并融合每個特征圖來生成可視化解釋。但是模型的語義相關的高級特征往往與低分辨率相關，這些“模型后”方法難以結合高分辨率特征。此外，由于“模型后”方法僅是近似的，不能準確地顯示特征圖的權重，低分辨率的特征圖往往會導致視覺解釋的漂移。

幾乎所有的可視化方法都試圖解釋訓練完成模型的預測結果，但在很多情況下，模型的設計可能已經導致了不合理的可視化解釋。

發明內容

本發明實施例提供了一種基于醫學影像的視覺解釋方法，可以解決現有模型導致的不合理的可視化解釋問題。

本發明提供一種基于醫學影像的視覺解釋方法，包括以下步驟：

獲取醫學圖像；

將醫學圖像輸入至基于子區域的融合預測模型，輸出可視化解釋；

根據可視化解釋對醫學圖像進行視覺解釋；

所述將醫學圖像輸入至基于子區域的融合預測模型，輸出可視化解釋，包括：

基于骨干網絡的注意力機制對基于子區域的多尺度特征進行提取，基于骨干網絡的漸進卷積結構對基于高分辨率的多尺度特征進行提取；

基于融合頸部對提取的多個多尺度特征進行融合；

基于預測頭輸出可視化解釋。

優選的，所述醫學圖像包括CT、MRI和超聲圖像。