[發明專利]面向深度學習的醫學影像標注方法及裝置

有效

• 申請號: 201911070252.0
• 申請日: 2019-11-05
• 公開（公告）號: CN110993064B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 宋美娜;鄂海紅;陸萌;柴文俊;康霄陽;王晴川;何佳雯;李峻迪;張如如;范家偉;陳正宇;劉毓;譚玲;謝曉璇;石珅達
• 申請（專利權）人: 北京郵電大學
• 主分類號: G16H30/20
• 分類號: G16H30/20;G06V10/26;G06V10/764
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

1.一種面向深度學習的醫學影像標注方法，其特征在于，包括以下步驟：

對輸入的影像診斷報告、電子病歷信息與醫學影像進行預處理，生成包含醫學影像與抽取出的相關診斷信息的數據；

基于深度學習對醫學影像進行預標注，其中，基于圖像語義分割技術對影像進行分割，得到各個病變區域的邊界范圍，實現像素級分割標注，并基于圖像分類技術結合影像相關診斷信息對影像所屬的疾病類型進行分類標注；

將預標注后的影像及相關診斷信息通過界面展示，接收交互式指令，供醫生對預標注影像結果進行微調，并導出標注結果；

其中，所述基于圖像語義分割技術對影像進行分割，包括：采用多種語義分割模型,針對不同任務靈活配置；其中，針對小樣本訓練數據采用弱監督與半監督的深度學習網絡,進行預標注模型的訓練,將訓練后的權重導出,用于預標注的語義分割標注；

其中，所述基于圖像分類技術結合影像相關診斷信息對影像所屬的疾病類型進行分類標注，包括：采用多種圖像分類模型靈活配置，通過圖像增強技術對訓練數據進行擴充,訓練數據采用弱監督與半監督的方法,采用ImageNet遷移學習的方法,進行預標注模型的訓練,將訓練后的權重導出,用于預標注的圖像分類模型。

2.根據權利要求1所述的方法，其特征在于，所述對輸入的影像診斷報告、電子病歷信息與醫學影像進行預處理，包括：

若對象為醫學文本時，從所述影像診斷報告、所述電子病歷信息中識別分類診斷結果和病變的描述信息及對應文本位置信息；

若所述對象為醫學影像時，對所述醫學影像數據進行解碼、影像圖像裁剪與歸一化。

3.根據權利要求1所述的方法，其特征在于，還包括：

將分割標注結果、分類標注及影像相關診斷信息，包括分類診斷結果以及病灶區域描述信息，繪制于交互界面上，生成閉合區域，分割標注結果是通過不同的顏色區分不同的病灶類型，并根據當前用戶的操作習慣接收所述交互式指令。

4.根據權利要求1或3所述的方法，其特征在于，還包括：

確定標注方式，并確認圖像的調節指令，所述調節指令包括對圖像的亮度、對比度的調節以及病灶區域標注微調、疾病類型標注修改指令，以供標注人員對影像預標注信息進行修改與確認。

5.根據權利要求1所述的方法，其特征在于，還包括：

檢測標注任務的類型；

根據所述標注任務的類型確定導出方式，其中，所述導出方式包括文件夾式導出方式和表格標注式導出方式。

6.一種面向深度學習的醫學影像標注裝置，其特征在于，包括：

數據預處理模塊，用于對輸入的影像診斷報告、電子病歷信息與醫學影像進行預處理，生成包含醫學影像與抽取出的相關診斷信息的數據；

預標注模塊，用于基于深度學習對醫學影像進行預標注，其中，基于圖像語義分割技術對影像進行分割，得到各個病變區域的邊界范圍，實現像素級分割標注，并基于圖像分類技術結合影像相關診斷信息對影像所屬的疾病類型進行分類標注；

交互式標注模塊，用于將預標注后的影像信息及診斷相關信息通過界面展示，以接收交互式指令，供醫生對預標注影像結果進行微調，并導出標注結果；

其中，所述基于圖像語義分割技術對影像進行分割，包括：采用多種語義分割模型,針對不同任務靈活配置；其中，針對小樣本訓練數據采用弱監督與半監督的深度學習網絡,進行預標注模型的訓練,將訓練后的權重導出,用于預標注的語義分割標注；

其中，所述基于圖像分類技術結合影像相關診斷信息對影像所屬的疾病類型進行分類標注，包括：采用多種圖像分類模型靈活配置，通過圖像增強技術對訓練數據進行擴充,訓練數據采用弱監督與半監督的方法,采用ImageNet遷移學習的方法,進行預標注模型的訓練,將訓練后的權重導出,用于預標注的圖像分類模型。

7.根據權利要求6所述的裝置，其特征在于，所述數據預處理模塊進一步用于在對象為醫學文本時，從所述影像診斷報告、所述電子病歷信息中識別分類診斷結果和病變的描述信息及對應文本位置信息，并在所述對象為醫學影像時，對所述醫學影像數據進行解碼、影像圖像裁剪與歸一化。