[發明專利]用于生成醫學圖像中的異常的描述的系統和方法

在審

• 申請號: 202010057678.9
• 申請日: 2020-01-19
• 公開（公告）號: CN111696642A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: P·D·哈齊希;Y·Y·陳;弗朗辛·陳
• 申請（專利權）人: 富士施樂株式會社
• 主分類號: G16H15/00
• 分類號: G16H15/00;G06N3/08;G06F40/169
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 趙彤;劉久亮

一種用于生成醫學圖像中的異常的描述的系統和方法。該方法包括：由經訓練的神經網絡從多個成像記錄中的每一個中提取圖像特征；由經訓練的神經網絡基于提取的圖像特征來生成與多個成像記錄中的每一個相關聯的書面報告，其中經訓練的神經網絡基于句子注釋模型來生成書面報告，句子注釋模型基于獨立句子來提供異常注釋；由經訓練的神經網絡確定與每個書面報告相關聯的異常分數；以及基于與每個書面報告相關聯的異常分數，以排序后的順序將書面報告提供給主治醫師。

技術領域

本公開涉及文字描述的生成，更具體地，涉及用于新醫學圖像中的異常的描述的計算機輔助生成的系統和方法。

背景技術

使用手動技術編寫醫學圖像報告(尤其是多句子描述)可能會耗時，并且需要專家知識。隨著醫學專業人員的有限勞動力和他們不斷增加的工作量，最近已經開發了相關技術的機器輔助圖像報告生成方法和系統。例如，相關技術方法已經導出生成胸部X光圖像的多句子描述。然而，這些相關技術方法假設描述中的所有詞語對于優化模型同等重要。這不適用于醫學報告，因為醫學報告中的某些句子(特別是關于醫學異常的句子)可能比其它句子更值得關注，因此需要更高的準確性。

發明內容

本申請的方案可以包括一種用于確定多個患者成像記錄的治療順序的方法。該方法可以包括以下步驟：由經訓練的神經網絡從多個成像記錄中的每一個中提取圖像特征；由經訓練的所述神經網絡基于所提取的圖像特征來生成與所述多個成像記錄中的每一個相關聯的書面報告，其中經訓練的所述神經網絡基于句子注釋模型來生成所述書面報告，所述句子注釋模型基于獨立句子來提供異常注釋；由經訓練的所述神經網絡確定與每個書面報告相關聯的異常分數；以及基于與每個書面報告相關聯的異常分數，以排序后的順序將所述書面報告提供給主治醫師。

本申請的附加方案可以包括一種非暫時性計算機可讀介質，該非暫時性計算機可讀介質編碼有用于使計算設備執行一種確定治療順序以審查醫學圖像并且根據多個患者成像記錄來治療患者的方法的指令。該方法可以包括以下步驟：由經訓練的神經網絡從多個成像記錄中的每一個中提取圖像特征；由經訓練的所述神經網絡基于所提取的圖像特征來生成與所述多個成像記錄中的每一個相關聯的書面報告，其中經訓練的所述神經網絡基于句子注釋模型來生成所述書面報告，所述句子注釋模型基于獨立句子來提供異常注釋；由經訓練的所述神經網絡確定與每個書面報告相關聯的異常分數；以及基于與每個書面報告相關聯的異常分數，以排序后的順序將所述書面報告提供給主治醫師。

本申請的其它方案可以包括一種計算設備，該計算設備具有存儲多個患者成像記錄的存儲器存儲設備以及通信地聯接到存儲器存儲設備的處理器。處理器可以被配置為執行一種用于確定多個患者成像記錄的治療順序的方法。該方法可以包括：由經訓練的神經網絡從多個成像記錄中的每一個中提取圖像特征；由經訓練的神經網絡基于提取的圖像特征來生成與多個成像記錄中的每一個相關聯的書面報告，其中經訓練的神經網絡基于句子注釋模型來生成書面報告，句子注釋模型基于獨立句子來提供異常注釋；經訓練的神經網絡確定與每個書面報告相關聯的異常分數；以及基于與每個書面報告相關聯的異常分數，以排序后的順序將書面報告提供給主治醫師。

本申請的其它方案可以包括一種計算設備，該計算設備包括用于存儲多個患者成像記錄的裝置、用于通過由經訓練的神經網絡從多個成像記錄中的每一個中提取圖像特征的裝置、用于通過經訓練的神經網絡基于提取的圖像特征生成與多個成像記錄中的每一個相關聯的書面報告的裝置(其中，經訓練的神經網絡基于句子注釋模型生成書面報告，該句子注釋模型基于獨立句子提供異常注釋)、用于通過經訓練的神經網絡確定與每個書面報告相關聯的異常分數的裝置、以及用于基于與每個書面報告相關聯的異常分數以排序后的順序將書面報告提供給主治醫師的裝置。

附圖說明

圖1示出了診斷醫學圖像和相關聯的文字描述，由此可以通過本申請的示例性實現方式來生成醫學報告。

圖2和圖3示出了根據本申請的示例性實現方式的醫學報告生成系統的示意性表示。