[發明專利]一種應用于視頻質量評價的視頻顯著性區域搜索方法

有效

• 申請號: 201310236192.1
• 申請日: 2013-06-14
• 公開（公告）號: CN103327359A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 殷海兵;譚晶晶
• 申請（專利權）人: 中國計量學院
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06T7/00
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳秉中

技術領域

本發明屬于視頻處理技術領域，涉及視頻質量評價、感知編碼、機器視覺等，可用于視頻壓縮和視頻顯著性區域提取及其相關的裝置和產品，具體涉及一種應用于視頻質量評價的視頻顯著性區域搜索方法。

背景技術

隨著網絡的快速發展，人們對視頻質量的要求越來越高，視頻質量評價的研究意義就顯得尤為重要。如何能在維持或增強視頻質量的情況下，對視頻進行壓縮并易于傳輸是近年來研究的重點和熱點。視頻顯著性區域的研究是在視頻壓縮過程中維持或增強視頻質量的重要部分，同時也是解決視頻傳輸等的一個有效的方法。視頻顯著性區域研究同時也涉及到其他的研究領域，如計算機視覺，心理學等。

視頻中場景變換復雜，每個畫面信息內容強大，人們已經發現在圖像信息內容豐富的情況下，人眼關注的焦點總是集中在圖像或視頻中的某一些特定區域。這是人眼視覺系統的一個內在屬性。充分了解人類視覺的這種內在屬性，并能夠依據人眼的內在屬性處理圖像或者視頻使其能更好的適應人們對圖像或視頻質量的要求。

關于顯著性研究是從上個世紀80年代中期開始的。顯著性區域的提取一般是通過人眼視覺關注特性，模擬視覺的關注過程，通過分析圖像的信息和特征提取圖像或者視頻中能夠引起視覺關注的部分。如何根據計算機對圖像/視頻建立一個合適的顯著性研究模型是目前世界科研領域亟待解決的問題。

目前對圖像顯著性區域研究的方法有很多。視覺注意模型開始是Koch在文章“Shifts?in?selective?visual?attention?:?Towards?the?underlying?neural?circuitry”中，并在視覺生理和心理物理實驗結果的基礎上，根據顯著性區域建立了視覺注意模型。由Itti提出算法“A?model?of?saliency-based?visual?attention?for?rapid?scene?analysis,?IEEE?Trans.?Pattern?Anal.Mach.Intell.1998,20:1254-1259.”完善了模型。Itti算法中根據亮度，色度以及圖像的方向空間三個通道的顯著性區域的結果圖融合得到最終的圖像顯著性圖。這些方法都是模擬人眼的視覺注意力機制，能夠比較好的檢測出圖像顯著性圖。但是對于視頻的顯著性圖的分析不能僅從圖像考慮，同時需要考慮到視頻在時域上的相關性。

與本發明相接近的算法為Xiaodi?Hou在文章中“Saliency?Detection:?A?Spectral?Residual?Appraoch，CVPR，2007：1-8”提出的一種簡單的圖像顯著性算法，該算法中通過分析圖像頻率域的幅值特性，并根據大量圖像幅值特性的研究結果，通過譜殘差最終得到圖像的顯著性區域。

具體步驟如下：

1.??????如果測試圖像是彩色圖像轉化為灰度圖像；

2.??????對測試圖像進行FFT變換；

3.??????分別取變化后的幅值圖????????????????????????????????????????????????和相位圖；

4.??????根據計算得到譜殘差，為3x3的均值濾波器；

5.??????根據和做傅里葉逆變換得到；

6.??????根據公式計算得到顯著性圖。

但是該方法有如下缺點：

(1)???圖像顯著性不能很好的適應于視頻關鍵幀顯著性的計算；

(2)???沒有考慮到相位對于顯著性檢測的重要性；

（3）背景復雜的情況下不能很好地檢測出顯著性區域。

發明內容

?為了解決現有技術中存在的上述技術問題，本發明提供了一種應用于視頻質量評價的視頻顯著性區域搜索方法，包括如下步驟：

(1)???取出關鍵幀與其前一幀的三維相關區域；

(2)???獲得三維區域的頻率域顯示；

(3)???分別取出頻率域的幅值譜和相位譜；

(4)???獲取譜殘差和相位差；

(5)???處理相位差，使其在規定范圍內；

(6)???獲取譜殘差與相位差的空間域顯示；

(7)???對獲得的空間域結果進行高斯濾波；

(8)???獲得視頻關鍵幀的顯著性結果圖。

進一步的，其中步驟(1)所述的取出關鍵幀與其前一幀的三維相關區域，按如下步驟進行：

(21)?提取測試序列關鍵幀的原始圖像及其前后各10幀的原始圖像，得到三維相關區域；