[發明專利]一種基于雙目多維感知特性的立體視頻顯著性檢測方法

有效

• 申請號: 201610363021.9
• 申請日: 2016-05-26
• 公開（公告）號: CN105898278B
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 周洋;何永健;唐杰;張嵩
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/04;H04N17/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙)33240
• 代理人: 杜軍

1.一種基于雙目多維感知特性的立體視頻顯著性檢測方法，包括顯著特征提取和顯著特征融合，其特征在于：

所述的顯著特征提取是從立體視頻的空間、深度以及運動三個不同維度的視圖信息分別進行顯著性計算，具體包括三部分：二維靜態顯著區域檢測、深度顯著區域檢測、運動顯著區域檢測；其中：

二維靜態顯著區域檢測：根據Bayesian模型計算單張彩色圖像的空間特征的顯著性，檢測出彩色圖像的二維靜態顯著區域，具體是：

通過計算單點的感興趣概率的方法來估計物體的顯著程度S_Z：

SZ=p{C=1|F=fz,L=lz}=p(F=fz,L=lz|C=1)p(C=1)p(F=fz,L=lz);]]>

式中z表示圖像中的某個像素點，p表示相應的概率值，隨機變量F表示一個點像素的視覺特征值，隨機變量L表示一個像素點的坐標位置；二元隨機變量C表示該點像素是否為目標像素，C＝1表示為目標像素，C≠1表示不是目標像素；f_z和l_z分別表示注視在z點時的視覺特征值以及相應的像素坐標位置；假設在C＝1的情況下，該點的視覺特征與空間位置是相互獨立的，即有：

Sz=p(F=fz|C=1)p(L=lz|C=1)p(C=1)p(F=fz)p(L=lz)=1p(F=fz)·p(F=fz|C=1)·p(C=1|L=lz);]]>

為了在一張圖像中方便比較該點的顯著概率，將上式進行對數化：

logs_z＝-logp(F＝f_z)+logp(F＝f_z|C＝1)+logp(C＝1|L＝l_z)；

式中第一項-logp(F＝f_z)表示該像素點特征的自信息量，只依賴于z的視覺特征，獨立于任何先驗信息；第二項logp(F＝f_z|C＝1)表示對數似然函數項，用來表示目標的先驗信息；第三項logp(C＝1|L＝l_z)表示獨立于視覺特性，反映目標可能出現位置的先驗信息；將上式簡化為：logS_z＝-logp(F＝f_z)，通過計算圖像各像素點的顯著程度S_Z獲取二維靜態顯著圖SM_image；

深度顯著區域檢測的具體步驟是：

①采用DERS軟件根據輸入的第k幀左視點圖和右視點圖計算出該幀的視差圖，其中視差值d∈[0,255]；

②根據視差圖中的最大視差值d_max和最小視差值d_min將視差值歸一化到[0,1]區間；如果某像素點的視差值接近d_max則賦予大的視差值，相反接近d_min則賦予小的視差值，給前景物體與背景物體賦予不同的顯著性得到深度前景圖D_foreground，其中前景物體相對于背景物體更為顯著；

③利用高斯差分濾波器提取重要的深度感知特征—深度對比度DoG(x,y)，實現公式下：

DoG(x,y)=12πσ2exp(-x2+y2σ2)-12πK2σ2exp(-x2+y22K2σ2);]]>

其中(x,y)代表濾波器位置，σ和K分別用來控制濾波器的尺度和高斯核的半徑比，將經DoG濾波后的深度圖作為深度對比度圖D_constrast；

④將獲取的深度前景圖D_foreground和深度對比度圖D_constrast進行線性加權融合，獲取深度顯著圖SM_depth：

SM_depth＝ω₁D_foreground+ω₂D_constrast；

其中：ω₁和ω₂分別為D_foreground和D_constrast的權重；

運動顯著區域檢測：根據當前幀的二維靜態顯著圖SM_image和深度顯著圖SM_depth中的顯著區域采用光流法提取相鄰幀間運動矢量，獲取運動顯著圖SM_motion，具體步驟是：

a.對二維靜態顯著圖SM_image和深度顯著圖SM_depth進行二值化：

式中，T_image和T_depth分別為SM_image和SM_depth的二值化處理的門限值，最佳門限值通過大津算法獲取，SM′_image和SM′_depth為經過二值化處理后的顯著圖，其中顯著區域的像素值為1，不顯著區域的像素值為0；然后將SM′_image和SM′_depth代入下式中來確定當前幀圖像的光流計算區域S′(x,y)：

S′(x,y)=SMimage′(x,y)+SMdepth′(x,y)2·S(x,y);]]>

式中S(x,y)表示當前幀原視圖中像素點(x,y)處的灰度值；

b.根據劃分的顯著區域利用Lucas-Kanade微分光流算法計算相鄰幀的運動；假設連續時間內像素點的灰度值恒定不變，特征點鄰域內做相似運動，對顯著區域所有像素求解基本光流方程：

I_xV_x+I_yV_y＝-I_t；

式中V_x，V_y分別表示光流矢量沿x，y兩個方向分量，I_x，I_y，I_t分別表示像素點沿x，y，t三個方向的偏導數，矢量形式表達式為：

式中是該點的梯度方向，符號T代表轉置，為該點的光流，聯立n個光流方程采用最小二乘法求解x，y方向的速度：

ΣIxjIxjΣIxjIyjΣIxjIyjIyiIxjVxVy=-ΣIxjItjΣIxjItj;]]>

得到：j＝1,2,…,n；

通過上述方程計算顯著區域的光流進而獲取運動顯著圖SM_motion；

所述的顯著特征融合是將已獲取的三種不同維度的顯著特征圖SM_image、SM_depth、SM_motion采取全局非線性歸一化的融合策略進行融合，進而獲取立體視頻顯著區域；具體步驟是：

(1)將已獲取的各種不同維度的顯著圖歸一化到一個相同的0到1區間的動態范圍內；

(2)計算每張顯著圖的全局最大值M_i以及局部極大值m_i的平均值i為image、depth或motion，其中M_i通過計算視差直方圖可獲取，是先通過matlab中的差分函數計算出局部極大值，然后再取其平均值；

(3)將歸一化后的各維顯著圖進行加權融合，計算公式如下：

i為image、depth或motion；

式中N(SM_i)表示歸一化操作，即把不同的顯著圖都歸一化到[0,1]區間，其中權重通過計算各維顯著圖的全局最大值M_i與局部極大值的平均值的差值獲得，當二者差值很大時，表明該顯著圖中的顯著特征更為明顯，賦予大的權重；當差值很小的時候，表明該顯著圖的顯著特征更為均勻，賦予較小的權重進行抑制，取(M_i-m_i)²作為每張顯著圖的權重值；通過臨近相似特征相互抑制的方式來近似模擬生物神經抑制機制，融合三個不同維度的顯著特征來獲取立體視頻的顯著區域。