[發明專利]一種基于多特征融合的膠囊內窺鏡圖像分類方法

有效

• 申請號: 201811515944.7
• 申請日: 2018-12-12
• 公開（公告）號: CN109635871B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 李勝;俞敏;何熊熊;常麗萍
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于多特征融合的膠囊內窺鏡圖像分類方法，通過融合圖像顏色特征和紋理特征，利用分類器對膠囊內窺鏡圖像進行分類。與現有技術相比，該方法采用的紋理特征結合了顏色信息。無效區域的檢測是基于超像素的自適應檢測算法，能夠自動檢測出圖像中的暗區和亮區，實現了在有效區域內進行特征提取，避免了無效信息的干擾。特征融合采用鑒別能力分析技術，使融合的新特征更具區分度。本發明能夠自動將膠囊內窺鏡圖像進行分類，從而縮短了復審的時間，減輕了醫生的負擔。

技術領域

本發明屬于圖像處理技術領域，尤其涉及的是一種基于多特征融合的膠囊內窺鏡圖像分類方法。

背景技術

常規的手持式內鏡檢查無法涉及到整個完整的消化道，胃鏡能夠檢查上消化道，而腸鏡只能檢查結腸和直腸，因此還有部分腸道是常規內窺鏡無法探及到的。膠囊內窺鏡的出現使得人體的整個消化道都能被觀察到。通常，病人將膠囊內窺鏡從口腔吞入，通過胃腸道的蠕動，膠囊內窺鏡在體內停留約8小時，并按每秒2幀的速率拍攝圖像。病人會隨體攜帶一個接收裝置，膠囊內窺鏡拍攝的圖像將傳輸到這個接收器上，最后所有內窺鏡圖像以視頻序列的方式導出到計算機，由專業的軟件供臨床醫生分析。然而，膠囊內窺鏡將產生超過50000張的圖像，這對于醫生復審是一件極其耗時又費精力的工作。因此，研制膠囊內窺鏡圖像自動器官分類系統，對于減輕醫生的負擔，有著重要的實用價值。

發明內容

為了克服現有技術無法有效實現膠囊內窺鏡圖像的不足，本發明提供一種有效實現膠囊內窺鏡圖像的基于多特征融合的膠囊內窺鏡圖像分類方法，通過提取圖像特征，訓練分類器，將膠囊內窺鏡圖像分成食道，賁門，胃，幽門和十二指腸等幾個主要的部位，從而減輕醫生復審的負擔，提高效率。

本發明解決其技術問題所采用的技術方案是：

一種基于多特征融合的膠囊內窺鏡圖像分類方法，包括以下步驟：

a.獲取膠囊內窺鏡圖像集：通過提取膠囊內窺鏡視頻幀，將視頻序列轉化為圖像集；

b.圖像預處理：對膠囊內窺鏡圖像進行預處理，生成無效區域掩模(mask)；

c.圖像顏色特征提取：在HSI顏色空間下，通過顏色直方圖的方法，提取圖像的顏色特征；

d.圖像紋理特征提取：在彩色圖像模式下提取圖像紋理特征；

e.圖像特征融合：將圖像的顏色和紋理特征進行融合并降維；

f.圖像分類：將融合后的新特征對分類器進行訓練，然后利用分類對新獲取的圖像進行分類，標記出分別屬于哪一類器官。

進一步，所述步驟b中，圖像預處理包括暗區域和亮區域的檢測，并構造一個無效區域的mask。

再進一步，所述步驟c中，顏色特征是在HSI顏色空間下采用色相—飽和度直方圖和離散余弦變換(DCT)進行顏色特征的提取。

更進一步，所述步驟d，中紋理特征是采用彩色灰度不變局部三值模式(CSILTP)提取圖像紋理特征。

所述步驟e中，采用鑒別能力分析(DPA)對顏色和紋理特征進行融合并降維；

所述步驟f中，利用隨機森林分類器進行訓練，然后利用訓練好的分類器將新的膠囊內窺鏡圖像分為各自所屬的器官。

所述步驟f中，利用隨機森林分類器進行訓練，步驟如下：

1)在臨床醫生的指導下，將膠囊內窺鏡圖像進行分類；

2)將內窺鏡非圖像區域用一個全局mask進行標記；

3)利用暗區和亮區檢測算法標記出無效區域，構造無效區域mask；

4)在全局mask和無效區域mask下提取所有圖像的顏色和紋理特征；