[發明專利]基于深度學習的膠囊內窺鏡影像識別方法、設備及介質

有效

• 申請號: 202110010379.4
• 申請日: 2021-01-06
• 公開（公告）號: CN112348125B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 張行;張皓;袁文金;張楚康;劉慧;黃志威
• 申請（專利權）人: 安翰科技（武漢）股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 蘇州威世朋知識產權代理事務所(普通合伙) 32235
• 代理人: 蘇婷婷

本發明提供了一種基于深度學習的膠囊內窺鏡影像識別方法、設備及介質，所述方法包括：通過膠囊內窺鏡按照時間生成順序收集N幅原始圖像；采用滑動窗口分割方法將N幅原始圖像分割為大小相同的M組原始圖像序列；解析N幅原始圖像或解析M組原始圖像序列形成M組RGB圖像序列，以及解析N幅原始圖像或解析M組RGB圖像序列形成M組光流圖像；每一所述RGB圖像序列由RGB格式的圖像數據構成，每一所述光流圖像序列由通過計算相鄰RGB圖像的光流場所形成的圖像數據構成；將所述RGB圖像序列和所述光流圖像序列分別輸入到3D卷積神經網絡模型以輸出識別結果；所述識別結果為預設參數出現的概率值。本發明提高圖像識別精度。

技術領域

本發明涉及醫療設備成像領域，尤其涉及一種基于深度學習的膠囊內窺鏡影像識別方法、電子設備及可讀存儲介質。

背景技術

膠囊內窺鏡是一種醫療設備，其將攝像頭、無線傳輸天線等核心器件集成；并在體內的消化道內采集圖像并同步傳送到體外，以根據獲得的圖像數據進行醫療檢查。膠囊內窺鏡在檢測過程中會采集幾萬張圖像，大量的圖像數據使得閱片工作變得艱巨且耗時；隨著技術的發展，利用圖像處理和計算機視覺技術進行病灶識別獲得了廣泛的關注。

現有技術中，公開號為CN103984957A的中國專利申請，公開了一種膠囊內窺鏡圖像可疑病變區域自動預警系統，該系統采用圖像增強模塊對圖像進行自適應增強，再通過紋理特征提取模塊對平坦性病變的紋理特征進行檢測，最后用分類預警模塊進行分類，實現了對小腸平坦性病變的檢測和預警功能。

公開號為CN111462082A的中國專利申請，公開了一種病灶圖片識別裝置、方法、設備及可讀存儲介質，其利用訓練好的2D目標深度學習模型對單張圖像進行病灶識別。

現有技術所提及的方案都是對單張圖像進行識別，識別過程中只能利用單張圖像拍攝的信息，不能綜合利用前后拍攝的圖像信息；如此，單一角度拍攝的圖像并不能直觀的反映出病灶的整體情況，尤其是在某些特定角度下拍攝的消化道褶皺、胃壁等圖像容易和息肉、隆起等病變相混淆；另外，現有技術不能同時獲得拍攝內容的空間和時間信息，病灶識別的準確率較低。

發明內容

為解決上述技術問題，本發明的目的在于提供一種基于深度學習的膠囊內窺鏡影像識別方法、設備及介質。

為了實現上述發明目的之一，本發明一實施方式提供一種基于深度學習的膠囊內窺鏡影像識別方法，所述方法包括：通過膠囊內窺鏡按照時間生成順序收集N幅原始圖像；

采用滑動窗口分割方法將N幅原始圖像分割為大小相同的M組原始圖像序列；

解析N幅原始圖像或解析M組原始圖像序列形成M組RGB圖像序列，以及解析N幅原始圖像或解析M組RGB圖像序列形成M組光流圖像；

每一所述RGB圖像序列由RGB格式的圖像數據構成，每一所述光流圖像序列由通過計算相鄰RGB圖像的光流場所形成的圖像數據構成；

將所述RGB圖像序列和所述光流圖像序列分別輸入到3D卷積神經網絡模型以輸出識別結果；所述識別結果為預設參數出現的概率值；

其中，將所述RGB圖像序列和所述光流圖像序列分別輸入到3D卷積神經網絡模型以輸出識別結果，包括：

所述3D卷積神經網絡模型包括：RGB支路和光流支路；

將RGB圖像序列輸入RGB支路進行計算以輸出第一分類概率；

將光流圖像序列輸入光流支路進行計算以輸出第二分類概率；

對所述第一分類概率和所述第二分類概率進行融合形成所述識別結果；

；

，

;