[發明專利]一種消化內鏡圖像異常特征實時標記系統及方法

在審

• 申請號: 201810365426.5
• 申請日: 2018-04-23
• 公開（公告）號: CN108852268A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 段會龍;胡偉玲;劉濟全;吳加國;王良靜;陳淑潔;張旭;陳飛;余濤;姒健敏
• 申請（專利權）人: 浙江大學
• 主分類號: A61B1/273
• 分類號: A61B1/273
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種消化內鏡圖像異常特征實時標記系統，包括計算機系統，其特征在于，所述計算機系統包含：

圖像獲取模塊，通過內窺鏡圖像系統實時獲取輸入的胃部常規白光內窺鏡視頻流，剔除其中無效幀，篩選有效關鍵幀；

圖像預處理模塊，用于對篩選出的關鍵幀進行圖像增強處理；

模型訓練模塊，用于對早期胃部癌前疾病內窺鏡圖和病灶位置信息進行模型訓練，得到檢測模型；

異常檢測模塊，用于將經過圖像預處理的圖像序列輸入到訓練完成的檢測模型之中，得到胃部異常特征的分類信息和定位信息；

標記顯示模塊，將定位信息在圖片序列上做出標記，并將標記映射到原始的輸入胃部常規白光內窺鏡視頻流中，并對所述該胃部內鏡視頻流進行實時顯示。

2.根據權利要求1所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述的圖像獲取模塊在篩選有效關鍵幀時利用K-means算法從數據對象中隨機選擇k個對象作為初始聚類中心，根據最小距離準則對數據對象進行分類，通過該聚類算法，把圖像庫中的圖像分為k類。

3.根據權利要求1所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述圖像預處理模塊中圖像增強處理包括：圖像歸一化、無效像素裁剪、圖像平滑、圖像銳化和圖像縮放。

4.根據權利要求1所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述的模型訓練模塊包括：

圖像數據集，用于存儲基于消化內鏡的分類數據集和檢測數據集；分類數據集包含多種早期胃部癌前疾病內窺鏡圖，檢測數據集包含病灶位置信息；

分類模型訓練單元，用于對所述分類數據集進行深度學習CNN分類模型的訓練；

檢測模型訓練單元，用于以CNN分類模型作為預訓練模型，以所述檢測數據集作為訓練集，進行基于回歸方法的深度學習CNN目標檢測模型的訓練。

5.根據權利要求4所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述圖像數據集在用于訓練CNN模型前，通過平移變換、鏡像翻轉或隨機裁剪進行數據擴增。

6.根據權利要求4所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述分類模型訓練單元在進行深度學習CNN分類模型訓練時，引入強化學習的方法以提高網絡分類的準確度，使用逐層尺度歸一化層對網絡正則化，采用Dropout方法緩解過擬合的問題，采用ReLU激活函數避免梯度消失問題，通過遷移學習方式對分類模型的訓練效率進行提升。

7.根據權利要求4所述的消化內鏡圖像異常特征實時標記系統，其特征在于，所述模型訓練模塊訓練后得到的檢測模型包括分類模型、輔助網絡結構和目標檢測模型；所述分類模型基于VGG-16框架，用于得到分類信息；所述輔助網絡結構用于提取圖片特征；所述目標檢測模型用于得到位置信息。

8.一種利用權利要求1-7任一項所述系統進行消化內鏡圖像異常特征實時標記的方法，其特征在于，包括以下步驟：

(1)將早期胃部癌前疾病內窺鏡圖和病灶位置信息輸入模型訓練模塊進行訓練，得到檢測模型；

(2)利用內窺鏡圖像系統設備得到受檢者胃部常規白光內窺鏡視頻流；

(3)將胃鏡視頻流解析后進行關鍵幀提取，剔除無效幀，篩選得到胃部內窺鏡有效視頻圖像序列；

(4)將有效視頻圖像序列輸入到圖像預處理模塊，進行圖像預處理；

(5)將圖像預處理后的圖像序列輸入到檢測模型中，檢測模型輸出可疑胃部癌前疾病病灶目標定位坐標，同時輸出定位坐標內可疑胃部癌前疾病分類結果和分類置信度；

(6)根據病灶定位坐標在有效圖像序列上做上標記，同時將標記映射到原胃鏡視頻流中；

(7)經標記的胃鏡視頻流在顯示器上實時顯示以供醫生觀察確認診斷。