[發明專利]基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法

有效

• 申請號: 201911293419.X
• 申請日: 2019-12-16
• 公開（公告）號: CN111047581B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 劉廣海
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

本發明公開一種基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法，其基于Itti顯著性模型，并提出二次動態整合的新型顯著圖整合方法來進行圖像的顯著性提取，而基于膠囊神經網絡的顯著性檢測模型又作為融合二次動態整合和深度學習的顯著性檢測方法，專門用于圖像顯著性區域檢測。本發明整合了Itti顯著性模型，二次動態整合和膠囊神經網絡的優點，在某種程度上模擬了大腦中視覺信息的傳輸和處理機制，能夠檢測出圖像中的顯著對象或顯著性區域，可以視為膠囊神經網絡和Itti顯著性模型的優勢互補模型，能應用顯著性檢測。相比傳統的顯著性模型和方法更加符合神經元功能機制，也更加先進。

技術領域

本發明涉及目標檢測技術領域，具體涉及一種基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法。

背景技術

近些年來，模式識別，深度學習和視覺神經科學得到了迅猛發展，深度學習應用于顯著性檢測，取得了非常優秀的性能。然而，由于視覺計算模型是模擬大腦中視覺信息的傳輸和處理機制而建立的模型，視覺信息在視覺通路中的傳遞和加工是一個復雜的多層次過程，大量神經元互相協作才能產生大腦功能，因此如何建立更加符合視覺神經機制的顯著圖整合模型需要進一步研究。

發明內容

本發明提供一種基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法，其能夠檢測出圖像中的顯著區域和顯著對象。

為解決上述問題，本發明是通過以下技術方案實現的：

基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法，具體包括如下步驟：

步驟1、對每幅樣本原始圖像采用顏色拮抗機制抽取顏色特征，分別得到紅綠拮抗顏色邊緣圖、藍黃拮抗顏色邊緣圖和黑白拮抗顏色邊緣圖；

步驟2、對每幅樣本原始圖像的紅綠拮抗顏色邊緣圖、藍黃拮抗顏色邊緣圖和黑白拮抗顏色邊緣圖進行PCA降維處理，并將降維后的圖像整合成一幅整合邊緣圖，并對該整合邊緣圖進行歸一化后獲得第一整合權重圖；

步驟3、將每幅樣本原始圖像送入到Itti視覺顯著性模型中，得到顏色關注圖、密度關注圖和方向關注圖；

步驟4、對每幅樣本原始圖像的紅綠拮抗顏色邊緣圖、藍黃拮抗顏色邊緣圖、黑白拮抗顏色邊緣圖、顏色關注圖、密度關注圖和方向關注圖進行PCA降維處理，并將降維后的圖像整合成一幅整合邊緣關注圖，并對該整合邊緣關注圖進行歸一化后獲得第二整合權重圖；

步驟5、將每幅樣本原始圖像的紅綠拮抗顏色邊緣圖、藍黃拮抗顏色邊緣圖、黑白拮抗顏色邊緣圖、顏色關注圖、密度關注圖和方向關注圖分別與第一整合權重圖進行對應像素點的灰度值相乘，并將相乘后所得圖像中各個對應像素點的灰度平均值作為第一顯著圖對應像素點的灰度值，由此得到第一顯著圖；

步驟6、將每幅樣本原始圖像的紅綠拮抗顏色邊緣圖、藍黃拮抗顏色邊緣圖、黑白拮抗顏色邊緣圖、顏色關注圖、密度關注圖和方向關注圖分別與第二整合權重圖W₂進行對應像素點的灰度值相乘，并將相乘后所得圖像中各個對應像素點的最大灰度值作為第二顯著圖對應像素點的灰度值，由此得到第二顯著圖；

步驟7、對于步驟5所得到的第一顯著圖與步驟6所得到的第二顯著圖進行對應像素點，將兩像素點灰度值的平方相加后再取根號所得到的灰度值作為綜合顯著圖對應像素點的灰度值，由此得到綜合顯著圖；

步驟8、采用上述步驟1-7的方法對所有樣本原始圖像進行處理，得到每幅樣本原始圖像的綜合顯著圖，將所有樣本原始圖像及其對應的綜合顯著圖送入到膠囊神經網絡進行訓練，得到訓練好的膠囊神經網絡；

步驟9、將當前待檢測的原始圖像送入到步驟8所訓練好的膠囊神經網絡中，訓練好的膠囊神經網絡輸出當前待檢測的原始圖像的綜合顯著圖，由此完成當前待檢測圖像的顯著性檢測。

作為改進，所述基于Itti模型和膠囊神經網絡的圖像顯著性檢測方法，還進一步包括如下步驟：