[發明專利]一種基于殘差網絡和深度信息融合的顯著性檢測方法

有效

• 申請號: 201910444775.0
• 申請日: 2019-05-27
• 公開（公告）號: CN110263813B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 周武杰;吳君委;雷景生;何成;錢亞冠;王海江;張偉
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

本發明公開了一種基于殘差網絡和深度信息融合的顯著性檢測方法，其在訓練階段構建卷積神經網絡，輸入層包括RGB圖輸入層和深度圖輸入層，隱層包括5個RGB圖神經網絡塊、4個RGB圖最大池化層、5個深度圖神經網絡塊、4個深度圖最大池化層、5個級聯層、5個融合神經網絡塊、4個反卷積層，輸出層包括5個子輸出層；將訓練集中的彩色真實物體圖像和深度圖像輸入到卷積神經網絡中進行訓練，得到顯著性檢測預測圖；通過計算顯著性檢測預測圖與真實顯著性檢測標簽圖像之間的損失函數值，得到卷積神經網絡訓練模型；在測試階段利用卷積神經網絡訓練模型對待顯著性檢測的彩色真實物體圖像進行預測，得到預測顯著性檢測圖像；優點是顯著性檢測準確率高。

技術領域

本發明涉及一種視覺顯著性檢測技術，尤其是涉及一種基于殘差網絡和深度信息融合的顯著性檢測方法。

背景技術

視覺顯著性可以幫助人類快速地過濾掉不重要的信息，讓人們的注意力更加集中在有意義的區域，從而能更好地理解眼前的場景。隨著計算機視覺領域的快速發展，人們希望電腦也能擁有和人類相同的能力，即在理解和分析復雜的場景時，電腦可以更加針對性地處理有用的信息，從而能更大的降低算法的復雜度，并且排除雜波的干擾。在傳統做法中，研究人員根據觀察到的各種先驗知識對顯著性對象檢測算法進行建模，生成顯著性圖。這些先驗知識包括對比度、中心先驗、邊緣先驗、語義先驗等。然而，在復雜的場景中，傳統做法往往不夠準確，這是因為這些觀察往往局限于低級別的特征(例如：顏色和對比度等)，所以不能準確反映出顯著性對象本質的共同點。

近年來，卷積神經網絡已廣泛運用于計算機視覺的各個領域，許多困難的視覺問題都獲得了重大的進展。不同于傳統做法，深度卷積神經網絡能夠從大量的訓練樣本中建模并自動的端到端(end-to-end)地學習到更為本質的特性，從而有效地避免了傳統人工建模和設計特征的弊端。最近，3D傳感器的有效應用更加豐富了數據庫，人們不但可以獲得彩色圖片，而且可以獲取彩色圖片的深度信息。深度信息在現實3D場景中是人眼視覺系統中很重要的一環，這是在之前的傳統做法中所完全忽略掉的一條重要的信息，因此現在最重要的任務就是如何建立模型從而有效地利用好深度信息。

在RGB-D數據庫中采用深度學習的顯著性檢測方法，直接進行像素級別端到端的顯著性檢測，只需要將訓練集中的圖像輸入進模型框架中訓練，得到權重與模型，即可在測試集進行預測。目前，基于RGB-D數據庫的深度學習顯著性檢測模型主要用的結構為編碼-譯碼架構，在如何利用深度信息的方法上有三種：第一種方法就是直接將深度信息與彩色圖信息疊加為一個四維的輸入信息或在編碼過程中將彩色圖信息和深度信息進行相加或者疊加，這類方法稱為前融合；第二種方法則是將在編碼過程中對應的彩色圖信息和深度信息利用跳層(skip connection)的方式相加或者疊加到對應的譯碼過程中，這類稱為后融合；第三種方法則是分別利用彩色圖信息和深度信息進行顯著性預測，將最后的結果融合。上述第一種方法，由于彩色圖信息和深度信息的分布有較大差異，因此直接在編碼過程中加入深度信息會在一定程度上添加了噪聲。上述第三種方法，分別利用深度信息和彩色圖信息進行顯著性預測，但是如果深度信息和彩色圖信息的預測結果都不準確時，那么最終的融合結果也是相對不夠精確的。上述第二種方法不僅避免了在編碼階段直接利用深度信息帶來的噪聲，而且在網絡模型的不斷優化中能夠充分學習到彩色圖信息和深度信息的互補關系。相比于之前的后融合的方案，如RGB-D Saliency Detection by Multi-streamLate Fusion Network(基于多流的后融合RGB-D顯著性檢測網絡模型)，以下簡稱為MLF，MLF分別對彩色圖信息和深度信息進行特征提取和下采樣操作，并在最高維通過對應位置元素相乘的方法進行融合，在此融合的結果上輸出一個尺寸很小的顯著性預測圖。MLF由于只有下采樣操作，因此使得物體的空間細節信息在不斷的下采樣的操作中變得模糊，而且MLF是在最小的尺寸上進行顯著性預測輸出，再放大到原始尺寸后會丟失很多的顯著物體的信息。

發明內容