[發明專利]基于頻域先驗的視頻顯著性目標檢測方法

有效

• 申請號: 201911301702.2
• 申請日: 2019-12-17
• 公開（公告）號: CN111178188B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 袁夏;張亞楠
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

本發明公開了一種基于頻域先驗的視頻顯著性目標檢測方法，包括以下步驟：根據當前幀的三顏色通道，得到四元數圖像，并將該四元數圖像從空間域經過超復數傅里葉變換到頻率域得到振幅譜和相位譜，通過將振幅譜置為1，進行傅里葉反變換得到頻域顯著性先驗信息；建立對稱卷積神經網絡的靜態模塊，得到當前視頻幀的空間顯著性檢測結果；建立基于全卷積神經網絡的動態模塊，得到頻域先驗信息，并聯合空間顯著性結果和當前幀通過動態模塊進行空時融合和特征提取，經反卷積得到最終的視頻顯著性檢測結果。本發明的視頻顯著性目標檢測摒棄復雜的光流計算，進而以頻域先驗信息將時序特性和運動信息考慮進來代替光流，提高了計算效率，減少了計算代價。

技術領域

本發明屬于視頻顯著性目標檢測技術，特別是一種基于頻域先驗的視頻顯著性目標檢測方法。

背景技術

顯著性目標檢測是計算機視覺中的一個研究熱點，按照研究對象的不同可以分為圖像顯著性目標檢測、視頻顯著性目標檢測。本專利主要針對視頻顯著性目標檢測方法。視頻顯著性目標檢測的主要目的是獲取動態場景中連續運動的、能引起人眼關注的顯著性目標。它作為一項預處理技術被廣泛應用于如目標檢測、行人識別、視頻編碼與壓縮、視頻增強、智能移動機器人定位等計算機視覺和機器視覺領域。

目前，常見的視頻顯著性目標檢測算法是分別得到基于視頻幀的底層特征如顏色、紋理、形狀、深度等獲取的空間特征和通過光流法計算得到的具有幀間關聯的時間特征，然后通過特定的空時融合方法將空間和時間特征進行融合，從而得到視頻的顯著性結果。然而，這種包含光流計算的方法具有很大的計算代價，在實時性要求高的任務中無法使用。

發明內容

本發明的目的在于提供一種基于頻域先驗的視頻顯著性目標檢測方法。

實現本發明目的的技術解決方案為：一種基于頻域先驗的視頻顯著性目標檢測方法，包括以下步驟：

步驟1、針對當前時刻的視頻幀，構建對應的四元數圖像，并對四元數圖像進行超復數傅里葉變換，得到振幅譜和相位譜，并在頻域對四元數圖像進行顯著性分析，通過將振幅譜置為1，僅將相位譜進行傅里葉逆變換得到頻域顯著性先驗信息；

步驟2、構建基于VGG16的雙分支對稱全卷積神經網絡的靜態模塊，提取當前視頻幀的局部特征并通過雙分支的層級整合經反卷積得到靜態圖像顯著性檢測結果；

步驟3、構建基于VGG16的全卷積神經網絡的動態模塊，聯合步驟2中得到的靜態圖像顯著性檢測結果，進行動態模塊訓練并得到視頻顯著性目標檢測結果；

步驟4、應用當前已標注的、覆蓋多種類的圖像和視頻顯著性檢測數據集訓練靜態模塊和動態模塊。

本發明與現有技術相比，其顯著優點為：(1)結合圖像在頻率域的信息：圖像在空間域所提供的可供學習的特征是有限的，此前有研究表明，圖像在頻率域上的相位譜體現了圖像的位置和形狀信息，可以有效的提取圖像的特征，因此本發明首先在圖像頻域中進行視覺顯著性分析，頻域顯著性先驗知識的有效性可從表1中靜態圖像顯著性檢測算法在不同數據集上的評測指標上得到驗證；(2)減少了視頻顯著性目標檢測的計算代價：現有的視頻顯著性檢測方法中都是使用光流計算幀間的像素位移的變化來得到運動信息，而本發明中則把空間相鄰的連續幀進行拼接并通過四元數傅里葉變換進行頻域顯著性分析，既考慮了時序特性和運動信息，也減少了因光流計算帶來的很大的計算代價。

下面結合附圖和具體實施方式對本發明作進一步的詳細描述。

附圖說明

圖1為本發明的基于頻域先驗的視頻顯著性目標檢測方法流程圖。

圖2為靜態模塊的雙分支對稱卷積神經網絡示意圖。

圖3為動態模塊的全卷積神經網絡示意圖。

圖4為視頻顯著性目標檢測結果示例圖。

具體實施方式