[發明專利]一種基于視覺問答方法的醫療影像報告生成方法

有效

• 申請號: 202011164568.9
• 申請日: 2020-10-27
• 公開（公告）號: CN112309528B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 馬汝輝;袁夢;宋濤;華揚;管海兵
• 申請（專利權）人: 上海交通大學
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06F18/214;G06F18/23213;G06F40/216;G06N3/0464;G06N3/0442;G06F16/35;G06F16/332;G06V10/82
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

本發明公開了一種基于視覺問答方法的醫療影像報告生成方法，涉及計算機視覺方向的圖片處理領域和自然語言處理的問答領域，包括問答數據集生成模塊、視覺問答模塊和報告生成模塊，其中，所述問答數據集生成模塊可以基于現有醫療影像報告生成可供視覺問答模型訓練的數據集，所述視覺問答模塊基于醫療影像圖片和給定問題生成回答。該方法生成的報告內容有實際意義且有據可循，可幫助影像科實現更少人手、更短時間內完成更多的診斷。

技術領域

本發明涉及計算機視覺中的醫療影像分析領域和自然語言處理中的文本生成領域，尤其涉及一種基于視覺問答方法的醫療影像報告生成方法。

背景技術

醫療影像報告生成任務由于其復雜的背景而面臨巨大的挑戰。隨著科學技術的不斷發展，人類已經發明出了多種輔助診斷的手段，但無論是哪一類輔助診斷方法，都需要仍舊需要人類醫師對圖片內容進行進一步解讀，才能用于后一步治療和處理。近年來，醫學影像技術的快速發展大大提高了醫療水平。但醫師數量的增長遠不及影像數量的增長，且具有專家診斷水平的醫生耗時漫長。而放射科醫師數量不足則會直接帶來很多隱患，最直接的體現便是繁重的任務帶來較高的誤診、漏診率。

醫師任務繁重給醫療體系帶來巨大壓力，但其對應面則是醫療影像圖片的樣本量巨大，針對同一類醫療影像圖片可以有大量不同樣本，且醫院大多有數據存檔，樣本的獲取成本較低，這為深度學習在醫療影像上的應用掃清了障礙。近年來隨著深度學習的不斷發展，其中對目前已經有很多機構開啟了醫療圖片的研究。深度學習在圖像領域取得了突破性進展，已經成為人工智能的一個熱潮，而一些在普通通用圖片數據集上誕生的模型也被修改后應用到了醫療影像上，并獲得了相當不錯的結果，利用深度學習輔助醫療影像的信息分析，可以提高檢測精度或減少人類專家的閱讀時間。目前主流的研究方向包括醫學影像的分類、醫學影像的檢測和醫學影像的分割。為了生成一個語義連貫的報告，該模型需要將視覺信息和語義信息以適當的方式結合起來，然后為相應的圖像提供準確的描述，這應該與醫學領域的知識相一致。

因此本領域的研究人員目前主要使用圖片標題生成等主要基于文本生成的自然語言處理方法來生成醫療影像報告。但實際上醫療領域的數據集普遍偏小，因此模塊在訓練過程中效率較低。即便是能給出一定結果的模型，也往往耗費大量算力讓循環神經網絡學習當前句子與前一個句子之間的關系。但是在診斷報告中，醫師們列出的結果在邏輯上是并行而非遞進的。因此學習不同的描述順序可能是毫無意義的，因為句子順序在很大程度上是由醫師的寫作習慣決定。此外，已有方法基本上都需要醫師參與數據集的構造過程，也即為圖片增加標簽，這種做法固然可以在現有數據集上獲得較好的實驗結果，但模型無法直接拓展到其他數據集上。利用已有醫療影像圖片和報告文本直接生成訓練數據集才能實現模型的魯棒性。

因此，本領域的技術人員致力于一種不需要醫師參與標注的方法。該方法可生成包含醫療影像報告核心內容而非無意義詞匯，通過分析獲取醫療影像報告中的核心內容并將其轉化為問題-回答組合對，利用視覺問答這一成熟模型讓訓練的目的性更清晰，實現在更短時間內獲得更高準確性，生成報告中的核心內容也更穩定。

發明內容

有鑒于現有技術的上述缺陷，本發明要解決的主要問題是如何設計一個醫療影像報告生成方法，僅借助現有數據集，不需要醫師提供過多額外幫助，且可以生成準確性較高而非單詞重復率較高的影像報告。

為實現上述目的，本發明提供了一種基于視覺問答方法的醫療影像報告生成方法，包括問答數據集生成模塊、視覺問答模塊和報告生成模塊，其中，所述問答數據集生成模塊可以基于現有醫療影像報告生成可供視覺問答模型訓練的視覺問答數據集，所述視覺問答模塊基于所述醫療影像圖片和給定問題生成回答。

進一步地，所述方法包括訓練階段和運行階段，所述訓練階段會根據現有所述醫療影像報告生成所述視覺問答數據集并基于所述視覺問答數據集進行深度神經網絡訓練，所述運行階段可直接根據所述醫療影像圖片生成診斷報告。

進一步地，所述訓練階段包括如下步驟：