[發明專利]一種下消化道內窺鏡圖像識別方法及系統

有效

• 申請號: 201911327593.1
• 申請日: 2019-12-20
• 公開（公告）號: CN110991561B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 李延青;李廣超;馮健;左秀麗;楊曉云;邵學軍;賴永航;辛偉;李真
• 申請（專利權）人: 山東大學齊魯醫院;青島美迪康數字工程有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

1.一種下消化道內窺鏡圖像識別方法，其特征在于，包括：

獲取下消化道部位圖像并標注出待識別類別和識別干擾圖像的輔助類別，劃分成訓練集和測試集；其中，待識別類別包括一級類別及二級類別，二級類別屬于一級類別的子類別；

利用訓練集和測試集訓練和測試下消化道部位識別模型A和下消化道部位識別模型B；其中，下消化道部位識別模型A用于識別一級類別和輔助類別，下消化道部位識別模型B用于識別二級類別；

在進鏡操作過程中，若訓練好的下消化道部位識別模型A識別出當前下消化道內鏡圖像的類型為一級類別中的盲腸，且存在連續N張非相似圖像均為盲腸的概率超過預設閾值，則開始退鏡操作；N為大于或等于3的正整數；判斷圖像為非相似圖像的過程為：通過均值哈希算法生成哈希序列并計算漢明距離，當漢明距離大于所設漢明距離閾值時，則判斷圖像為非相似圖像；

在退鏡操作過程中，基于下消化道部位識別模型A和下消化道部位識別模型B對消化道內鏡圖像進行實時檢測，排除屬于輔助類別的圖像，若存在連續N張非相似圖像均為同一類別的概率超過預設閾值，則輸出圖像所屬的一級類別和二級類別；

在退鏡操作過程中，當利用下消化道部位識別模型A識別下消化道內鏡圖像并輸出所屬類別為結腸時，排除輔助類別圖像后，若有連續N張非相似圖像同時屬于結腸的概率超過第一預設閾值，再利用下消化道部位識別模型B對下消化道內鏡圖像進行二次判斷，當這些連續N張非相似圖像輸出為相同二級類別的概率超過第二預設閾值時，則判斷鏡頭已抵達該二級類別部位。

2.如權利要求1所述的下消化道內窺鏡圖像識別方法，其特征在于，一級類別包括回盲瓣、結腸、乙狀結腸和直腸；二級類別屬于結腸的子分類，包括升結腸、橫結腸和降結腸；輔助類別為預設干擾圖像類別，用于排除干擾圖像；

所述輔助類別包括闌尾開口、積液、鏡頭與腸壁距離小于預設值、鏡頭被遮擋、腸腔收縮、腸腔不完整和模糊。

3.如權利要求1所述的下消化道內窺鏡圖像識別方法，其特征在于，下消化道部位識別模型A采用深度學習框架Keras應用模塊提供的圖像分類模型；

通過細粒度分類網絡DFL-CNN，使用多分支結構同時利用訓練集中的下消化道內窺鏡圖像的局部信息和全局信息，并對局部區域進行特征監督的方式進行訓練，得到下消化道部位識別模型B。

4.一種利用如權利要求1-3任一項所述的下消化道內窺鏡圖像識別方法的下消化道內窺鏡圖像識別系統，其特征在于，包括：

圖像標注模塊，其用于獲取下消化道部位圖像并標注出待識別類別和識別干擾圖像的輔助類別，劃分成訓練集和測試集；其中，待識別類別包括一級類別及二級類別，二級類別屬于一級類別的子類別；

模型訓練模塊，其用于利用訓練集和測試集訓練和測試下消化道部位識別模型A和下消化道部位識別模型B；其中，下消化道部位識別模型A用于識別一級類別和輔助類別，下消化道部位識別模型B用于識別二級類別；

退鏡操作開始判斷模塊，其用于在進鏡操作過程中，若訓練好的下消化道部位識別模型A識別出當前下消化道內鏡圖像的類型為一級類別中的盲腸，且存在連續N張非相似圖像均為盲腸的概率超過預設閾值，則開始退鏡操作；N為大于或等于3的正整數；

圖像實時識別模塊，其用于在退鏡操作過程中，基于下消化道部位識別模型A和下消化道部位識別模型B對消化道內鏡圖像進行實時檢測，排除屬于輔助類別的圖像，若存在連續N張非相似圖像均為同一類別的概率超過預設閾值，則輸出圖像所屬的一級類別和二級類別；

在所述圖像實時識別模塊中，在退鏡操作過程中，當利用下消化道部位識別模型A識別下消化道內鏡圖像并輸出所屬類別為結腸時，排除輔助類別圖像后，若有連續N張非相似圖像同時屬于結腸的概率超過第一預設閾值，再利用下消化道部位識別模型B對下消化道內鏡圖像進行二次判斷，當這些連續N張非相似圖像輸出為相同二級類別的概率超過第二預設閾值時，則判斷鏡頭已抵達該二級類別部位；

在所述退鏡操作開始判斷模塊中，判斷圖像為非相似圖像的過程為：

通過均值哈希算法生成哈希序列并計算漢明距離，當漢明距離大于所設漢明距離閾值時，則判斷圖像為非相似圖像。