[發明專利]實時內窺鏡腸鏡息肉檢測系統

有效

• 申請號: 202010160151.9
• 申請日: 2020-03-10
• 公開（公告）號: CN111383214B
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 曹魚;張鵬飛;劉本淵
• 申請（專利權）人: 長沙慧維智能醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒;王茹

本申請公開了一種實時內窺鏡腸鏡息肉檢測系統，包括：視頻信息獲取單元，用于將接收的視頻分解為以若干幀為一組的視頻片段；視頻信息提取單元，用于對所述的視頻片段進行預處理，并提取光流信息；以及，視頻信息分析單元，用于獲取經所述視頻信息提取單元處理過的視頻信息，并輸入深度卷積神經網絡進行檢測，從而獲取息肉檢測結果。利用本申請的實時內窺鏡腸鏡息肉檢測系統，可以從手術過程中實時產生的視頻流內提取時空信息，以低延遲、高精度輔助醫生發現腸道息肉，提高醫生判斷精度，減輕手術負擔，以及加快手術進程。

技術領域

本申請涉及一種腸道息肉檢測系統，具體涉及一種結合單幀彩色圖像與多幀光流圖像時空信息的實時內窺鏡腸鏡息肉檢測系統，屬于醫療技術領域。

背景技術

結直腸息肉是從結腸或直腸內壁開始的異常增生，雖然大多數息肉是安全的，但是某些息肉還是存在癌變導致結直腸癌的風險。結直腸癌目前是世界范圍內發病率第四，死亡率第二高的癌癥。目前，超過一半的六十歲以上人群都存在一個以上的結直腸息肉，因此息肉的提前發現和清除，對于預防結直腸癌癥至關重要。內窺鏡腸鏡檢查是一種最常見也最有效的發現并切除息肉的預防方法，但是人工診斷受限于醫生經驗以及復雜的腸道環境，仍然存在漏檢的風險，因此有必要引入結直腸息肉計算機輔助診斷系統來幫助醫生降低漏檢率。

內窺鏡檢查手術過程中影像采集設備以每秒30-60幀的速度按時間順序產生視頻流，每一幀產生的圖像代表當前時間內窺鏡所獲取的腸道內環境影像，醫生會根據手術設備實時反饋回來的圖像控制內窺鏡進行檢查和手術。當前的計算機輔助結直腸息肉檢測系統分為實時處理和后處理兩種系統，分別用于在手術中及時反饋結果與術后分析。

目前工業界以及學術界的息肉檢測方法主要分為兩大類：1)基于傳統圖像處理，利用人為定義的有用特征進行檢測；2)基于深度學習的方法，使用卷積神經網絡自動完成目標物體(息肉)的檢測。基于深度學習的方法又可以分為：單純考慮當前單幀圖像的檢測方法；以及引入歷史幀，結合多幀信息對息肉進行判斷的視頻檢測方法。

傳統的方式大多數采用人工定義特征的方法的關鍵在于提取息肉的外觀特征，比如利用方向梯度直方圖做邊緣檢測，然后搜索輸入圖片中具有橢圓外觀的物體。不過，與大多數目標檢測任務相同，隨著基于深度卷積網絡的目標檢測算法的發展，基于深度學習的方法普遍獲得了比基于人工定義特征更好的檢測結果。

針對單幀靜態圖像，將雙階段物體檢測網絡應用與結直腸息肉檢測，比方說有代表意義的Faster R-CNN，是目前最熱門的深度學習方法之一。該方法將輸入圖像送入骨干網絡進行特征提取后，先找出該圖像中需要被注意的區域(Region of Interest)，然后在后續網絡中判斷該區域是否是結直腸息肉。然而，此類模型在息肉檢查中面對著兩個問題：

其一、非實時，其復雜度導致該方法在現有設備上運行速度無法超過30幀每秒，所以無法用于實時用途，只可以用于術后分析。

其二、低準確度與敏感度，大部分深度學習模型需要大量準確標注的數據進行訓練，但是息肉標注任務受限于醫學專業知識，大多數公開的數據集都存在數量小種類少的問題，因此訓練結果差強人意。與此同時，由于基于單幀信息的檢測方法往往受困于腸道環境復雜，鏡頭視野內存在大量異物、液體與模糊等噪音，僅根據單一影像很難做出準確的結果評估，這也是現有方法的準確度與敏感度差強人意的原因。

為降低噪音干擾，一些研究者引入時間信息，針對視頻中連續多幀進行分析，目前學術領域已經發布的方法有三種，分別為卷積長短時記憶神經網絡(ConvLSTM)，條件隨機場(CRF)和結合基于深度學習的目標追蹤方法融合多幀檢測結果，但是這些方法受限于模型復雜度，也都無法做到實時檢測。

發明內容

本申請的主要目的在于提供一種結合單幀彩色圖像與多幀光流圖像時空信息的實時內窺鏡腸鏡息肉檢測系統，從而克服現有技術的不足。

為了達到前述發明目的，本申請采用了以下方案：