[發明專利]實時內窺鏡腸鏡息肉檢測系統

有效

• 申請號: 202010160151.9
• 申請日: 2020-03-10
• 公開（公告）號: CN111383214B
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 曹魚;張鵬飛;劉本淵
• 申請（專利權）人: 長沙慧維智能醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒;王茹

1.一種實時內窺鏡腸鏡息肉檢測系統，其特征在于包括：

視頻信息獲取單元，用于將接收的視頻分解為以若干幀為一組的視頻片段，具體包括：

所述視頻信息獲取單元先緩存輸入的實時內窺鏡視頻流，且產生連續的彩色幀，所述連續的彩色幀為Frame₀,Frame₁,…,Frame_t-1,Frame_t，并分別代表時刻0到時刻t的視頻輸入，t0，之后所述視頻信息獲取單元至少調整每一幀讀入圖像的長、寬尺寸至設定像素值；

視頻信息提取單元，用于對所述的視頻片段進行預處理，并對所述連續彩色幀中的Frame_t-N-1,…,Frame_t-1,Frame_t共N幀提取光流信息，用于表示從時刻t-N-1到時刻t內，由于鏡頭移動產生視角變化造成的息肉與腸壁的相對位移，其中N≧2，具體包括如下步驟：

（1）假設短時間內視頻光照環境變化有限，(x,y)代表像素點坐標，t代表時間，I代表像素灰度，t幀時位于空間坐標(x,y)處的像素灰度I(x,y,t)與經過位移(u,v)后新坐標(x+u,y+v,t+n)的像素灰度I(x+u,y+v,t+n)相同，即I(x,y,t)=I(x+u,y+v,t+n)，使用光流生成算法獲得每個像素在(t+n)幀處的(u,v)值；

（2）計算每個像素點位移向量(u,v)的模(magnitude)與方向(angle)：

再將計算獲得的模與方向映射至色相（Hue）、飽和度（Saturation）、明度（Value），即HSV顏色空間：

其中Normalize代表歸一化操作，將(u,v)向量的模轉化為0到1之間；

視頻信息分析單元，用于接收來自視頻信息提取單元的彩色圖像與光流圖像后，分別將所述彩色圖像、光流圖像輸入各自的深度卷積神經網絡進行檢測，之后將獲得的檢測結果進行合并，從而獲取息肉檢測結果，并且，所述視頻信息分析單元包括單階段檢測模型和基于通道疊加的細節增強網絡，所述單階段檢測模型包括骨干網絡、額外卷積層以及兩個并行的檢測分支，所述兩個并行的檢測分支分別為分類分支、回歸分支；并且，在所述視頻信息分析單元中，內窺鏡所采集到的前述的彩色圖像和通過計算獲取的光流圖像被輸入骨干網絡與額外卷積層共同組成的特征提取網絡，并在不同深度的網絡層逐漸被提取為不同尺寸的特征圖像，再抽取其中指定層數的特征圖輸入所述的兩個檢測分支，并為特征圖中每一個特征點匹配不同大小和長寬比的預設框，且通過所述的兩個檢測分支對每一個預設框分別進行分類和回歸，來判斷該預設框是否存在目標物體，以及通過回歸算法對預設框的位置和長寬進行調整，最后再將冗余的檢測結果進行合并，輸出最終檢測結果，所述細節增強網絡具有類似金字塔網絡的結構，使得在所述視頻信息分析單元中，當內窺鏡視頻中息肉體積較小，被分配給較淺特征層進行檢測時，能夠將具有更大感受野的深層特征與淺層特征融合，共同用于息肉檢測，并且在融合不同尺寸的兩層特征時，先采用反卷積作為小尺寸卷積層上采樣的方法，恢復為相同大小后，在通道維上采用疊加操作進行融合，以及，在所述視頻信息分析單元中，將分別代表空間、時間的所述彩色圖像、光流圖像并行輸入對應的深度卷積神經網絡后，每一深度卷積神經網絡根據輸入的信息產生數量相同的基于預設框的預測，在將分別對應于空間、時間的檢測結果進行融合時，針對每個預設框的分類分數做加權平均，最終得到分類分數S_fuse：

S_fuse=α×S_spatial+(1-α)×S_temporal

其中S_spatial、S_temporal分別為對應于空間、時間的深度卷積神經網絡對各自的每個預設框的分類分數，α用于調節分類分數比重且取值范圍介于0~1之間，同時，每個預設框的回歸結果以對應于空間的深度卷積神經網絡的輸出為準；以及

假陽性抑制模塊，用于抑制假陽性檢測結果，其中，所述假陽性抑制模塊能夠為每一個新發現的息肉構建一個時間維度上的M幀長的緩沖區，M為正整數，對已經記錄的一個或多個幀，采用置信度最高的檢測結果H作為此緩沖區的代表，并以用物體追蹤的方式獲取H在當前幀的位置，且與當前幀的檢測結果進行對比。