[發明專利]一種基于結構化逐像素目標注意機制的目標跟蹤方法

有效

• 申請號: 202010896415.7
• 申請日: 2020-08-31
• 公開（公告）號: CN111951297B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 張煥龍;陳青華;于俊洋;程利云;張杰;史坤峰;安小宇;楊光露;陳宜濱;孔漢
• 申請（專利權）人: 鄭州輕工業大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/13;G06T7/90;G06N3/04
• 代理公司: 鄭州優盾知識產權代理有限公司 41125
• 代理人: 張真真

1.一種基于結構化逐像素目標注意機制的目標跟蹤方法，其特征在于，其步驟如下：

步驟一、根據初始幀圖像中目標的位置信息，在初始幀圖像中截取包含背景的圖像，并將含背景的圖像分為目標圖像和背景圖像；

步驟二、分別將目標圖像和背景圖像轉化至HSV顏色空間，利用標準Epanechnikov核函數提取目標圖像的顏色直方圖H_O，利用標準方法提取背景圖像的顏色直方圖H_B；

步驟三、提取目標圖像的特征圖，并對特征圖進行求解獲得記憶器；

S31、將目標圖像輸入VGG-16網絡，分別輸出VGG-16網絡中的conv4-3層的第一特征圖和conv4-1層的第二特征圖，然后利用梯度，從特征圖中保留固定數量的濾波器得到目標圖像的特征圖；

S32、提取目標圖像的標準HOG特征和Colornames特征；

S33、根據標準HOG特征和Colornames特征構建記憶器模型對應的目標函數，通過求解目標函數的最優解得到目標圖像對應的記憶器；

步驟四、獲取下一幀圖像作為當前處理圖像，根據上一幀圖像的目標位置信息截取當前處理圖像的搜索區域圖像；

步驟五、利用目標圖像的顏色直方圖H_O、背景圖像的顏色直方圖H_B和貝葉斯法則對搜索區域圖像進行計算得到逐像素目標概率圖；

計算空間逐像素目標概率圖m，其中，每個元素m∈{0,1}表示每個像素的目標概率；通過貝葉斯法則計算在在外觀條件y下位置l處目標概率為：

其中，p(m∈O|y,l)表示每個像素屬于目標的概率，p(y|m∈O)表示目標圖像的似然矩陣，p(y|m∈S)表示背景圖像的似然矩陣；

p(m∈O)＝k(l；σ)，

其中，k(l；σ)為修正的Epanechnikov核，k(r；σ)＝1-(r/σ)²，σ為卷積核的尺寸參數，r表示位置l處像素與中心像素的距離；

步驟六、根據幀間運動信息，利用余弦分布作為時間結構化約束生成的結構化目標概率圖，并將逐像素目標概率圖和結構化目標概率圖進行線性組合獲得結構化逐像素目標概率圖；

步驟七、將搜索區域圖像輸入VGG-16網絡，分別輸出VGG-16的conv4-3和conv4-1層的搜索區域特征，并將搜索區域特征和特征圖輸入相似性比較網絡，通過相似性計算獲得搜索區域的得分圖；

步驟八、將搜索區域的得分圖與結構化逐像素目標概率圖相加得到當前處理圖像的最終響應圖，將最終響應圖中響應值的最大值處為當前處理圖像的目標位置；

步驟九、截取當前處理圖像的目標區域圖像作為跟蹤結果，并將跟蹤結果輸入記憶器得到跟蹤結果的置信度，判斷置信度是否大于穩定閾值，若是，執行步驟十，否則，返回步驟四，直至視頻結束；

步驟十、根據跟蹤結果截取目標圖像及目標周圍的背景圖像，分別提取目標圖像和背景圖像的顏色直方圖，更新目標圖像的顏色直方圖H_O與背景圖像的顏色直方圖H_B，同時更新記憶器，返回步驟四，直至視頻結束。

2.根據權利要求1所述的基于結構化逐像素目標注意機制的目標跟蹤方法，其特征在于，所述記憶器模型對應的目標函數為：

其中，f_d是具有d個通道的特征圖，是具有N_d個通道的特征圖，h_d是與特征圖相對應的記憶器，是與特征圖相對應的記憶器，g是期望輸出，λ是正則化參數。

3.根據權利要求1所述的基于結構化逐像素目標注意機制的目標跟蹤方法，其特征在于，所述結構化逐像素目標概率圖為：

其中，m_c表示結構化逐像素目標概率圖，m_s表示利用結構化信息生成的結構化目標概率圖，T_m表示逐像素目標概率的最大值，T_c表示給定閾值，α表示加權系數。

4.根據權利要求3所述的基于結構化逐像素目標注意機制的目標跟蹤方法，其特征在于，所述最終響應圖為：

其中，z為搜索區域圖像，x目標圖像，f(x,z)為最終響應圖，表示提取輸入圖像特征操作，corr(·)表示互相關操作。