[發明專利]一種顯著區域的深度學習檢測方法

在審

• 申請號: 201910241993.4
• 申請日: 2019-03-28
• 公開（公告）號: CN111626289A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 梁曄;馬楠;李文法;張磊;徐俊;李大偉;孫晨昊;周航;王楠
• 申請（專利權）人: 北京聯合大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/04
• 代理公司: 北京馳納智財知識產權代理事務所(普通合伙) 11367
• 代理人: 謝亮

本發明提供一種顯著區域的深度學習檢測方法，包括構建多尺度深度網絡，包括以下步驟：對所述多尺度深度網絡進行訓練；顯著性預測與融合。本發明提出一種顯著區域的深度學習檢測方法，把基于多尺度的深度網絡用于顯著區域檢測，利用了深度網絡內在的層次特征，將RGB圖像輸入到深度卷積神經網絡，通過自下而上的特征提取和自上而下的特征整合，預測不用尺度空間下面的特征圖。

技術領域

本發明涉及計算機視覺和圖像處理的技術領域，特別是一種顯著區域的深度學習檢測方法。

背景技術

顯著性檢測的目的是發現圖像中的顯著區域，這是圖像理解和分析中的一個基本問題，通常作為其他計算機視覺問題的預處理，例如圖像分類、圖像分割和重定位。近年來，雖然顯著性檢測取得了很大的進步，但是顯著性仍然是一個挑戰性任務。

傳統的顯著性檢測方法通常會使用多種顯著性線索或先驗信息，例如局部或全局對比度，邊界先驗。這些方法由于使用低級的人工設計特征和模型，不能識別和理解圖像中的語義對象概念。近來，深度卷積神經網絡已經在視覺模式識別方法取得了令人矚目的成績，例如語義分割，圖像分類、對象跟蹤等。只要提供足夠的訓練數據，深度卷積神經網絡仍然能夠較準確的識別復雜圖像中的顯著對象，性能超過大多數的傳統的基于人工設計特征的方法。盡管取得了很好的檢測效果，仍然存在問題值得繼續研究。

多尺度的顯著性特征已經成功的用在了傳統的基于人工設計特征的顯著區域檢測中。然而，在基于CNN的方法中，存在為了獲得多尺度的特征提取需要訓練多個深度網絡。盡管取得了很好的性能，但是計算和存儲量代價巨大，在實際的應用中實用性不強。

申請號為CN104408711A的發明專利申請公開了一種基于多尺度區域融合的顯著區域檢測方法，其技術特征在于：首先計算圖像的最佳顏色梯度與歸一化梯度；然后用梯度索引遍歷圖像，把滿足融合門限的像素對合并，得到第一個尺度的標簽圖像；再計算該標簽圖像的邊緣梯度圖；接著在各個尺度下迭代計算出多尺度標簽圖；然后利用互信息求出多尺度候選顯著圖；最后利用空間幾何信息熵找出最優尺度，則該尺度下的候選顯著圖就是最終顯著圖。該方法雖然在顯著區域提取中考慮了多尺度因素，但此方法最終還是選擇一個尺度下的顯著圖作為最終的顯著圖，實質上并沒有對多個尺度下的顯著圖進行融合。

發明內容

為了解決上述的技術問題，本發明提出一種顯著區域的深度學習檢測方法，提出了把基于多尺度的深度網絡用于顯著區域檢測，利用了深度網絡內在的層次特征，將RGB圖像輸入到深度卷積神經網絡，通過自下而上的特征提取和自上而下的特征整合，預測不用尺度空間下面的特征圖并進行融合。

本發明提供一種顯著區域的深度學習檢測方法，包括構建多尺度深度網絡，其特征在于，包括以下步驟：

步驟1：對所述多尺度深度網絡進行訓練；

步驟2：顯著性預測與融合。

優選的是，所述構建多尺度深度網絡包括以下子步驟：

步驟01：自底向上的特征提取；

步驟02：自上而下的特征連接；

步驟03：顯著區域大小的權重預測。

在上述任一方案中優選的是，所述步驟01包括將一幅圖像輸入到網絡中，特征提取模塊自底向上進行特征提取，得到多尺度特征。

在上述任一方案中優選的是，所述步驟01還包括采用16層的VGG網絡，特征提取模塊包括13個卷積層，通過ReLU線性修正單元進行非線性映射和最大池化操作，獲得四個尺度的特征表示為{F₂；F₃；F₄；F₅}。

在上述任一方案中優選的是，所述步驟02包括將不同層次的特征進行連接，表示如下：