[發明專利]基于全局運動估計的視頻顯著性檢測方法

有效

• 申請號: 201510301092.1
• 申請日: 2015-06-04
• 公開（公告）號: CN104869421B
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 白旭;徐俊;任婧婧
• 申請（專利權）人: 北京牡丹電子集團有限責任公司數字電視技術中心
• 主分類號: H04N19/51
• 分類號: H04N19/51;H04N19/107
• 代理公司: 天津盛理知識產權代理有限公司12209
• 代理人: 王利文

技術領域

本發明屬于視頻檢測技術領域，具體涉及一種基于全局運動估計的視頻顯著性檢測方法。

背景技術

隨著互聯網技術和通信技術的蓬勃發展，人們日常生活中獲取和交流的信息越來越多。這些信息包含文本、圖像、音頻和視頻等，由于視頻含有信息量大和內容豐富，因此視頻成為主要的信息載體。而如此龐大的信息在傳輸和存儲時會受到帶寬和容量限制，因此需要根據信息受體人眼的視覺特性對其進行處理，提取出人眼關注的部分。視頻顯著性檢測就是根據人眼視覺特性對視頻信息分析的重要機制，其在視頻處理中可用于物體檢測、目標跟蹤、視頻編碼等。

人眼視覺注意機制可分為自底向上和自頂向下兩種，自底向上的機制是數據驅動的，即沒有任何先驗知識，僅由低層信息(如亮度、色度和對比度等)得到，而自頂向下的機制是任務驅動，需要有一定先驗知識。由于低層信息獲得較為容易且一般缺乏先驗知識，故現有視頻顯著性檢測大多基于自底向上的視覺機制。

視頻顯著性檢測按其特征來源可分為壓縮域和非壓縮域方法。現有的視頻顯著性檢測模型大多是在非壓縮域實現的，如Itti等(Laurent Itti,Christof Koch,and Ernst Niebur,“A model of saliency-based visual attention for rapid scene analysis,”IEEE Transactions on pattern analysis and machine intelligence,vol.20,no.11,pp.1254–1259,1998.)提出的基于靈長類早期視覺系統的顯著性檢測模型，Harel(Jonathan Harel,Christof Koch,and Pietro Perona,“Graph-based visual saliency,”in Advances in neural information processing systems,2006,pp.545–552.)提出的基于圖論的方法，Guo等(Chenlei Guo and Liming Zhang,“A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,”Image Processing,IEEE Transactions on,vol.19,no.1,pp.185–198,2010.)提出的基于相位的顯著性檢測模型。這些模型所提取的信息均來自于未壓縮的像素域，像素域中包含大量視頻信息如亮度、色度、紋理等，因此在像素域中需要高計算復雜度獲取顯著性圖。再者，視頻傳輸和存儲都是壓縮后的碼流，壓縮視頻應用廣泛主要得益于減小存儲空間和提升傳輸速度，因此壓縮域視頻顯著性檢測更有利于應用到實時處理場景中。

壓縮域視頻顯著性檢測主要利用離散余弦變換(DCT)系數和運動矢量(MVs)計算每個塊的顯著性大小。Muthuswamy等(Karthik Muthuswamy and Deepu Rajan,“Salient motion detection in compressed domain,”IEEE Signal Processing Letters,vol.20,pp.996–999,2013.)提出一種雙層結構算法用于辨別顯著性運動，但是沒有解決多種特征條件下顯著性圖的融合問題。Fang(Yuming Fang,Zhou Wang,and Weisi Lin,“Video saliency incorporating spatiotemporal cues and uncertainty weighting,”in Multimedia and Expo(ICME),2013IEEE International Conference on.IEEE,2013,pp.1–6.)等提出基于局部不確定性度量的自適應融合方法能取得較好的檢測效果，但是該方法在計算權重時需預先知道真實顯著性圖，該因素阻礙了此法的實際應用，且該方法不適用于視頻中存在全局運動的場景。

綜上所述，現有的視頻顯著性檢測方法中，壓縮域方法較少，未考慮全局運動對檢測結果的影響，且多種特征下顯著性圖融合技術不夠完善，不能充分發揮每種特征條件下檢測結果的優勢。如何去除全局運動的影響和多特征顯著性圖自適應融合是視頻顯著性檢測中迫切需要解決的問題。

發明內容