[發明專利]用于基于患者的醫學圖像生成報告的系統、方法和介質

有效

• 申請號: 201811308886.0
• 申請日: 2018-11-05
• 公開（公告）號: CN109887577B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 高峰;白軍杰;陳翰博;孫善輝;尹游兵;特錚;宋麒
• 申請（專利權）人: 科亞醫療科技股份有限公司
• 主分類號: G16H30/20
• 分類號: G16H30/20;G16H15/00
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 黃威;范璉

1.一種用于基于患者的醫學圖像生成報告的系統，其包括：

通信接口，其配置為接收由圖像采集裝置獲取的醫學圖像；

至少一個處理器，其配置為：

接收用戶對至少一個視圖中的至少一幅醫學圖像的選擇；

基于包括串聯連接的卷積神經網絡和遞歸神經網絡的學習網絡自動生成描述所選擇的醫學圖像的關鍵詞；

接收用戶對所生成的關鍵詞的交互，所述交互包括關鍵詞選擇、關鍵詞排序和關鍵詞添加中的至少一種；

基于對所述關鍵詞的交互，生成所述報告；以及

顯示器，被配置為顯示所選擇的醫學圖像和所述報告。

2.根據權利要求1所述的系統，其中，所述至少一個處理器還被配置為使用所述卷積神經網絡從所選擇的醫學圖像中提取圖像特征。

3.根據權利要求2所述的系統，其中，所述至少一個處理器還被配置為使用所述遞歸神經網絡基于所述圖像特征生成所選擇的醫學圖像的自然語言描述。

4.根據權利要求3所述的系統，其中，所述關鍵詞選自所選擇的醫學圖像的所述自然語言描述。

5.根據權利要求1所述的系統，其中，所述至少一個處理器還被配置為通過優化所述卷積神經網絡和所述遞歸神經網絡的聯合損失函數來訓練所述學習網絡。

6.根據權利要求1所述的系統，其中，所述用戶的選擇還包括所選擇的醫學圖像中的關注區域，并且所述至少一個處理器被配置為基于所述學習網絡自動更新所述關鍵詞以描述所選擇的關注區域。

7.根據權利要求2所述的系統，其中，所述至少一個處理器還被配置為：

確定指示從所選擇的醫學圖像提取的各個圖像特征對每個生成的關鍵詞的貢獻的注意力權重；和

對所提取的圖像特征用相應的注意力權重進行加權。

8.根據權利要求1所述的系統，其中，所述至少一個處理器還被配置為：

接收與生成所述關鍵詞相關聯的要求；和

將所述要求輸入到所述遞歸神經網絡。

9.根據權利要求1所述的系統，還包括：麥克風，其被配置為接收語音輸入，其中，所述至少一個處理器還被配置為基于所述語音輸入的內容來調整所生成的關鍵詞。

10.根據權利要求1所述的系統，其中，所述至少一個處理器還被配置為在所述顯示器上示出繪圖工具，所述繪圖工具被配置為接收標注，其中，所述至少一個處理器還被配置為基于所述標注調整所生成的關鍵詞。

11.根據權利要求1所述的系統，其中，所述至少一個處理器還被配置為：

接收文本輸入；和

基于所述文本輸入調整所生成的關鍵詞。

12.一種用于基于患者的醫學圖像生成報告的方法，所述方法包括：

由通信接口接收由圖像采集裝置獲取的醫學圖像；

接收用戶對至少一個視圖中的至少一幅醫學圖像的選擇；

由至少一個處理器基于學習網絡自動生成描述所選擇的醫學圖像的關鍵詞，所述學習網絡包括串聯連接的卷積神經網絡和遞歸神經網絡；

接收用戶對所生成的關鍵詞的交互，所述交互包括關鍵詞選擇、關鍵詞排序和關鍵詞添加中的至少一種；

由所述至少一個處理器基于對所述關鍵詞的交互，生成所述報告；以及

在顯示器上顯示所選擇的醫學圖像和所述報告。

13.根據權利要求12所述的方法，其中自動生成關鍵詞還包括：

使用所述卷積神經網絡從所選擇的醫學圖像中提取圖像特征；

使用所述遞歸神經網絡基于所述圖像特征生成所選擇的醫學圖像的自然語言描述；以及

從所述自然語言描述中選擇所述關鍵詞。