[發明專利]圖像分析問答

在審

• 申請號: 201710329190.5
• 申請日: 2017-04-07
• 公開（公告）號: CN107292086A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: W·劉;A·莫迪;B·喬治斯庫;F·佩賴拉
• 申請（專利權）人: 西門子保健有限責任公司
• 主分類號: G06F19/00
• 分類號: G06F19/00;G06F17/27;G06N5/02
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 徐紅燕,劉春元

對相關應用的交叉參考

本申請要求以2016年4月7日提交的美國臨時申請序列號62/319,572和2017年3月10日提交的美國申請序列號15/455,591的權益，兩者其全部內容通過引用并入本文。

技術領域

本發明通常涉及用于通過問答系統自動地理解來自圖像分析的結果的方法、系統和裝置。使用公開的方法、系統和裝置可應用到用于從各種成像模式中收集的信息的處理中，所述成像模式包括但不限于計算機斷層掃描(CT)、磁共振(MR)、正電子發射斷層掃描(PET)和超聲(US)技術。

背景技術

傳統地，醫學圖像放射學報告是由放射學專家通過轉錄圖像數據的解釋的記錄來創建。這導致非結構化的發現收集，其受到個體放射學專家的經驗和組織，這在語法和語義方面變化。相比之下，最近的研究顯示了來自結構化放射學報告的一致通信和優越評價的優勢。因此，有幾個正在進行的放射學倡議來標準化模板和詞典學。

在醫學數據的自然語言處理中的研究已經通過創建診斷語義的綜合解釋開發了代表語言學和語言的模型。最近，來自國立衛生研究院的工作呈現了對醫院圖片存檔和通信系統數據庫執行大規模圖像/文本分析的第一研究。雖然以前的研究和專有努力主要集中在特定的領域和本體來導出用于報告的文本描述，但是針對能夠適應不同形式的分析數據以及可適合于多個臨床領域的通用架構存在一種需求。

發明內容

本發明的實施例通過提供與通過問答系統自動地理解在圖像分析報告中呈現的結果相關的方法、系統和裝置來解決和克服上述缺點和缺陷中的一個或多個。對于產生自然語言發現以填寫結構化放射學報告可以應用在此描述的這些技術。使用標準化報告模板和字段將簡化與縱向數據和來自過去報告中類似情況的比較，這允許該系統在歷史大數據的上下文中快速處理和解釋當前患者數據。

根據一些實施例，用于預測針對有關醫學圖像分析報告的問題的答案的計算機執行的方法包括：將醫學圖像分析報告分成句子和通過將自然語言處理框架應用到句子來生成句子嵌入向量。接收涉及包括在醫學圖像分析報告中的主題的問題和通過將所述自然語言處理框架應用到所述問題來生成問題嵌入向量。通過將類似性匹配處理應用到所述句子嵌入向量和問題嵌入向量來識別與所述問題嵌入向量最類似的句子嵌入向量子集?；谒鼍渥忧度胂蛄孔蛹?，使用經訓練的遞歸神經網絡(RNN)確定針對所述問題的預測答案。在一些實施例中，經訓練的RNN是長的短期存儲器(LSTM)RNN，并且通過將句子嵌入向量的子集劃分成第一詞序列并將問題嵌入向量的子集劃分成第二詞序列來確定預測答案。第一詞序列和第二詞序列順序地傳送通過LSTM單元，以產生與不同狀態對應的輸出。使用線性操作將輸出組合成單個輸入向量，并將softmax函數應用到單個輸入向量以生成預測答案。

在本發明的不同實施例中，可以對上述方法進行各種改進，增強和其它修改。例如，在一個實施例中，通過使用自然語言處理框架首先針對特定句子中的每個詞生成嵌入來創建每個句子嵌入向量。然后，對特定句子中的每個詞的嵌入進行平均，以產生句子嵌入向量。自然語言處理框架可以例如通過將句子匹配到諸如統一醫學語言系統(UMLS)數據集的一個或多個本體參考來識別目標醫學語法。目標醫學語法可以包括一種或多種疾病的描述和/或一個或多個解剖實體的描述。在一些實施例中，使用一個或多個醫學知識數據集，例如來自美國放射學學院的放射學指南訓練自然語言處理框架。

在上述方法的一些實施例中，類似性匹配過程包括計算每個句子嵌入向量與問題嵌入向量之間的余弦乘積，以產生用于每個句子嵌入向量的相似性分數。句子嵌入向量根據相似度分數進行排序，并且選擇預定數量的最高排序句子嵌入向量作為句子嵌入向量的子集。

根據本發明的另一方面，一種用于預測針對有關醫學圖像分析報告的問題的答案的計算機執行的方法包括通過將自然語言處理框架應用到醫學圖像分析報告中的句子來生成句子嵌入向量。接收涉及包括在醫學圖像分析報告中的主題的問題和通過將所述自然語言處理框架應用到所述問題來生成問題嵌入向量。與所述問題嵌入向量最類似的句子嵌入向量子集被識別并且劃分成第一詞序列。將問題嵌入向量的子集劃分成第二詞序列。第一詞序列和第二詞序列順序地傳送通過多個LSTM單元，以產生與不同狀態對應的多個輸出。將輸出組合成單個輸入向量，并將softmax函數應用到單個輸入向量以生成預測答案。