[發明專利]一種動態場景下顯著性目標檢測方法

有效

• 申請號: 201810968233.9
• 申請日: 2018-08-23
• 公開（公告）號: CN109146925B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 趙雪專;裴利沈;李玲玲;趙中堂;邵曉艷;薄樹奎;程秋云;張少彤;代占起
• 申請（專利權）人: 鄭州航空工業管理學院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/46;G06V10/56;G06V10/80;G06V10/84
• 代理公司: 洛陽公信知識產權事務所(普通合伙) 41120
• 代理人: 逯雪峰

1.一種動態場景下顯著性目標檢測方法，其特征在于，包括以下步驟：

S1：在動態場景中進行運動目標檢測，得到動態場景中所有的運動目標區域的前景圖像集合；

S2：在動態場景中提取圖像特征并進行特征級融合，得到圖像融合特征向量，基于貝葉斯推理進行視覺注視點檢測；

S3：結合前景圖像集合和融合后得到的視覺注視點對檢測到的運動目標區域的顯著程度進行度量并生成基于運動目標的動態顯著圖；

所述的步驟S1包括以下步驟：

S11：構造運動模型，首先給出定義，I_j∈IR^m表示動態場景即視頻中的第j幀，I_j是含有m個元素的列向量，每一個元素均與圖像中的像素點一一對應；D＝[I₁,...,I_j,....,I_n]∈IR^m×n表示幀序列的表征矩陣，n代表幀的個數；轉換矩陣表示為τ＝{τ₁,...,τ_j,....,τ_n}；B∈IR^m×n表示圖像的背景矩陣，尺度與D相同；

S∈{0,1}^m×n表示圖像的前景矩陣，是一個二值圖像，

用P_s(X)表示X到S的正交投影：

表示互補投影，即：

S12：構造能量函數，基于拉普拉斯矩陣的約束方法，針對視頻中的每一幀圖像的前景矩陣增加約束項，構造如下目標能量函數：

其中，|| ||₀表示l₀范數，|| ||_*表示核范數，||||_F表示Frobenius范數；

L_Sⁱ＝E_i-W_i,； (4)

其中，E_i是對角矩陣，F_i＝reshape(S_i), (6)

W_i是關系矩陣，

F_i表示第i幀圖像的矩形結構，F_i＝[v₁,...,v_m,....,v_Q]，Q是圖像中像素點個數；C_m表示像素點m的鄰域；L_Sⁱ表示視頻中第i幀圖像的前景矩陣所對應的拉普拉斯矩陣；

S13：模型求解，目標能量函數是非凸的且包含三個變量τ、B和S，采用交替算法分別對三個變量進行優化，

在進入循環之前，首先初始化以下為目標能量函數的迭代求解過程，

(1)首先，固定此時，目標能量函數為如下形式：

在每次迭代中，采用一個小的增量Δτ更新τ，線性化為其中表示雅可比矩陣因此，有下列形式：

然后采用加權最小二乘法求解

(2)固定此時，目標能量函數轉化為如下形式：

然后采用SOFT-IMPUTE算法求解

(3)固定此時，目標能量函數轉化為如下形式：

然后采用圖割模型法求解

經過三個變量優化過程的交替執行，即可獲得前景矩陣S＝[S₁,...,S_i,...,S_n]，n代表視頻的總幀數，從而得到前景圖像集合F＝{F₁,...,F_i,...,F_n}；

所述的步驟S3包括以下步驟：

S31：基于運動目標檢測得到的前景圖像集合F＝{F₁,...,F_i,...,F_n}，則對于每一幀圖像均有可能存在多個目標區域F_i＝[F_i¹,...,F_i^r,...F_i^Q]，其中Q表示目標的個數，F_i^r表示第i幀前景圖像的第r個目標對應的二值圖像；

對于視覺注視點檢測得到顯著圖序列重新定義為：S＝{S₁,...,S_i,...,S_n}，此處，S_i表示第i幀圖像的視覺注視點顯著圖，

結合上述定義，具體的動態顯著圖的融合公式如下：

其中，SD_i^r表示第r個目標圖像對應的顯著圖，w和h表示圖像的寬和高；

進而可得到最終的動態顯著圖：

其中，Q表示目標個數，SD＝{SD₁,...,SD_i,...,SD_n}表示動態顯著圖序列，n表示視頻總幀數。

2.根據權利要求1所述的一種動態場景下顯著性目標檢測方法，其特征在于，所述的步驟S2包括以下步驟，

S21：特征提取和融合，首先，采用高斯濾波對原始圖像進行采樣，獲取不同尺度的圖像，然后在Lab顏色空間，提取所獲取圖像的顏色特征向量，對于每個像素點表示為：v＝[L,a,b]；原始圖像中的像素點i對應的不同尺度上的特征表示為其中c表示尺度，表示在所有尺度上的特征，k代表尺度總層數；所獲取圖像的顏色特征表示為：I＝[I₁,...,I_i,...,I_N]，N代表像素點的個數；采用主成分分析算法對所獲取圖像的特征向量進行降維處理，降維后圖像的顏色特征向量為I^*＝[I₁^*,...,I_i^*,...,I_N^*]；

以顏色特征向量為基礎，采用局部操作核描述圖像的方向特征，則針對不同尺度上像素點i的對應特征為：ID_i^c＝[IDL_i^c,IDa_i^c,IDb_i^c]，c表示圖像所在尺度，因此，基于多個尺度的圖像像素點i的方向特征表示為：多個尺度下圖像的方向特征表示為：ID＝[ID₁,...,ID_i,...,ID_N]；

對多尺度圖像的顏色特征向量進行降維處理，降維后圖像的顏色特征向量表示為ID^*＝[ID₁^*,...,ID_i^*,...,ID_N^*]；

組合圖像的顏色和方向特征向量，最終得到圖像融合特征向量，對于像素點i，其融合特征為整個圖像為F＝[F₁,...,F_i,....,F_N]；

S22：基于貝葉斯推理的視覺注視點顯著圖提取，構造顯著性的后驗概率表示為：Pr(y_i＝1|F_i,L_i)，L_i表示像素的位置信息，y_i＝1表示此點是顯著的，根據貝葉斯準則有如下推導：

Pr(y_i＝1|L_i)在對于所有像素點的值一樣，忽略，即有：

公式13中的第一項采用核密度估計計算公式如下：表示圖像中擁有稀少特征的像素點為顯著點，越少越顯著，

N代表圖像像素總個數，κ表示核密度估計采用高斯核函數，表示如下：

公式13中的第二項P(F_i|y_i＝1)，采用核密度估計的方法計算：

其中核密度估計采用余弦相似度函數：

公式13重寫為：

S_i即為像素點i處的顯著值，顯著圖表示為：S＝[S₁,...,S_i,....S_M]，M為像素點個數。