[發明專利]一種基于機器學習的內鏡下輔助活檢的系統及方法

有效

• 申請號: 202011639126.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112614128B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 馬銘駿;左秀麗;李延青;李真;邵學軍;楊曉云;賴永航;馮健
• 申請（專利權）人: 山東大學齊魯醫院;青島美迪康數字工程有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/46;G06N20/00;G06N3/08;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 朱忠范

本發明提供一種基于機器學習的內鏡下輔助活檢的系統及方法，屬于內鏡技術領域，圖像采集模塊，用于獲取內鏡檢查過程中實時采集的待檢測部位視頻幀；病灶浸潤深度識別模塊，用于利用病灶浸潤深度識別模型識別待檢測部位視頻幀的病灶區域，并對病灶區域的不同分化類型進行浸潤深度打分，得到具有不同浸潤深度的打分矩陣的掩碼圖像；其中，所述病灶浸潤深度識別模型模型使用多組數據訓練獲得，所述每一組數據均包括包含有病灶區域的內鏡圖像以及用于標注該內鏡圖像中病灶區域的不同分化類型的標注信息。本發明能夠根據病變分化類型及浸潤深度，實時展示內鏡下病變打分矩陣，從而輔助內鏡醫師選取最佳活檢部位，協助臨床取得最佳診療決策。

技術領域

本發明涉及內鏡活檢技術領域，具體涉及一種基于機器學習的內鏡下輔助活檢的系統及方法。

背景技術

內鏡活檢是目前消化系統疾病早期診治不可缺少的手段，內鏡檢查過程中發現可疑病變時，往往需要活檢來明確病變的性質、分化類型以及浸潤深度，這些都與后續治療決策相關。在臨床實踐中，常常存在術前活檢與術后病理不一致的情況，其造成的原因可能是同一病變不同部位分化類型不一致、病變中某一部位浸潤過深，如何選取最佳活檢部位，減少術前誤判是亟需解決的問題。

目前卷積神經網絡技術雖然能夠很好的解決圖像識別問題，但多是基于病變整體的判斷，無法滿足精準活檢的需要。

發明內容

本發明的目的在于提供一種利用CNN技術，實時展示消化道病變各部位的分化程度及浸潤深度，實現了精準活檢的基于機器學習的內鏡下輔助活檢的系統及方法，以解決上述背景技術中存在的至少一項技術問題。

為了實現上述目的，本發明采取了如下技術方案：

一方面，本發明提供一種基于機器學習的內鏡下輔助活檢的系統，該系統包括：

圖像采集模塊，用于獲取內鏡檢查過程中實時采集的待檢測部位視頻幀；

病灶浸潤深度識別模塊，用于利用病灶浸潤深度識別模型識別待檢測部位視頻幀的病灶區域，并對病灶區域的不同分化類型進行浸潤深度打分，得到具有不同浸潤深度的打分矩陣的掩碼圖像；其中，所述病灶浸潤深度識別模型模型使用多組數據訓練獲得，所述每一組數據均包括包含有病灶區域的內鏡圖像以及用于標注該內鏡圖像中病灶區域的不同分化類型的標注信息。

優選的，所述病灶浸潤深度識別模塊包括：訓練圖像獲取單元、圖像標注單元、模型訓練單元以及結果展示單元；

所述訓練圖像獲取單元，用于獲取多幅包含病灶區域的內鏡圖像；

所述圖像標注單元，用于接收針對病灶區域的不同病灶分化類型的浸潤深度的標注信息，基于該標注信息對內鏡圖像中的病灶區域的不同分化類型進行浸潤深度標注；

所述模型訓練單元，用于將進行了病灶區域標注的內鏡圖像作為訓練集，訓練所述病灶浸潤深度識別模型；

所述結果展示單元，用于將病灶浸潤深度識別模型識別出的內鏡圖像中的病灶區域不同分化類型進行浸潤深度打分，展示掩碼圖像。

優選的，所述病灶浸潤深度識別模型包括病灶區域識別分支和浸潤深度識別分支。

優選的，采用DETR神經網絡訓練所述病灶區域識別分支。

優選的，采用MASK-RCNN卷積神經網絡訓練所述浸潤深度識別分支。

第二方面，本發明提供一種利用如上所述的系統實現的基于機器學習的內鏡下輔助活檢的方法，包括如下流程步驟：

獲取內鏡檢查過程中實時采集的待檢測部位視頻幀；