[發明專利]基于級聯卷積網絡和光流的視頻顯著性目標檢測方法

有效

• 申請號: 201811542535.6
• 申請日: 2018-12-17
• 公開（公告）號: CN109784183B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 李映;鄭清萍;劉凌毅;崔凡
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明涉及一種基于級聯卷積網絡和光流的視頻顯著性目標檢測方法，利用級聯網絡結構，在高、中、低三個尺度上分別對當前幀的圖像進行像素級的顯著性預測。使用MSAR10K圖像數據集訓練級聯網絡結構，顯著性標注圖作為訓練的監督信息，損失函數為交叉熵損失函數。訓練終止后，利用訓練好的級聯網絡對視頻中的每一幀圖像進行靜態顯著性預測。利用經典的Locus?Kanada算法進行光流場提取。然后使用三層卷積網絡結構構建動態優化網絡結構。將每一幀圖像的靜態檢測結果和光流場檢測結果進行拼接得到優化網絡的輸入數據。使用Davis視頻數據集優化網絡，利用靜態檢測結果和光流信息對視頻幀進行像素點級的顯著性分類。

技術領域

本發明屬于圖像處理領域，涉及一種基于級聯卷積網絡和光流的視頻顯著性目標檢測方法。

背景技術

近年來所提出的大量圖像顯著性目標檢測的算法都是基于一種自底向上或自頂向下的框架且主要依賴人工特征，但是基于視頻顯著性目標檢測的算法相對較少。視頻顯著性目標檢測與圖像顯著性目標檢測的最大不同是：圖像顯著性目標檢測可以假設人眼視覺注意力機制的焦點位于圖像中心，但是對于視頻顯著性目標檢測而言，人的視覺注意力會隨著顯著性目標的移動而變化。如果簡單地把圖像顯著性目標檢測的算法用于處理視頻顯著性目標檢測，無法充分利用視頻中顯著性目標的運動信息。

文獻“deep learning based video salient object detection”提出一種基于深度學習的視頻顯著性目標檢測算法。作者利用全卷積網絡提取幀內的顯著性信息和幀間運動信息，對靜態圖像的檢測結果進行優化。該算法的主要優勢是：1)利用深度學習的特征代替人工特征；2)通過遷移學習的思想解決訓練數據缺乏的問題。但此方法中，靜態與動態顯著性目標檢測均使用同樣的深層全卷積網絡結構，計算復雜性高，速度慢；且顯著性圖粒度不夠精細，容易丟失邊緣信息。

發明內容

要解決的技術問題

為了避免現有技術的不足之處，提高視頻顯著性目標檢測的高效性和準確性，本發明提出了一種基于級聯卷積網絡和光流的視頻顯著性目標檢測方法。

技術方案

一種基于級聯卷積網絡和光流的視頻顯著性目標檢測方法，其特征在于步驟如下：

步驟1：構建級聯網絡結構

對原始圖像進行下采樣，得到三個不同尺度的圖像，分別是高尺度-原圖像，中尺度-下采樣2倍的圖像，和低尺度-下采樣4倍的圖像；低尺度圖像，經過5個卷積塊，每個卷積塊包含3個卷積層，前三個卷積塊最后一層各包含一個步長為2的池化層，得到下采樣32倍的特征圖F1，F1經過2倍上采樣和SoftMax層得到低尺度圖像的顯著性圖S1；中尺度的圖像，經過3個卷積塊，每個卷積塊包含3個卷積層和一個步長為2的池化層，再經過一個步長為2的空洞卷積層，得P2，將P2與特征圖F1相加得一個下采樣16倍的特征圖F2，F2經過2倍上采樣和SoftMax層得到中尺度圖像的顯著性圖S2；原圖像經過3個步長為2的卷積層和一個步長為2的空洞卷積層，得到P3，將P3與特征圖F2相加得到一個8倍下采樣的特征圖F3，F3經過一個2倍的上采樣層和SoftMax層得到一個高尺度的顯著性圖S3；最后，對S3進行4倍上采樣得到與原圖相同大小的預測結果；

步驟2：訓練網絡結構

將MSRA10K數據集作為訓練數據，對每一幅圖像從低、中、高三個尺度上進行分類，得到下采樣為16倍、8倍、4倍的特征圖，再通過上采樣的4倍、2倍、2倍得到對應的顯著性圖；然后分別計算這些顯著性圖與顯著性標注圖、標注圖、標注圖之間的誤差，最后利用反向傳播算法更新模型的參數；采用分批次進行訓練，每一批次稱作一個batch，計算誤差時所用的代價函數如下：