[發明專利]一種基于PVANET神經網絡的目標跟蹤方法

有效

• 申請號: 201810584860.2
• 申請日: 2018-06-08
• 公開（公告）號: CN108898619B
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 羅均;高建燾;李小毛;謝少榮;彭艷
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

1.一種基于PVANET神經網絡的目標跟蹤方法，其特征在于，具體步驟包括：

步驟一、對于第一幀圖像t＝1，跟蹤任務給予的第一幀跟蹤目標的中心位置(x_t,y_t)以及跟蹤目標區域大小信息(l_t,h_t)，對跟蹤目標區域進行一定比例的擴大(l_p,t,h_p,t)＝α(l_t,h_t)，根據目標中心位置(x_t,y_t)以及擴大后的跟蹤目標區域大小(l_p,t,h_p,t)在該幀圖像中進行采樣，得到訓練樣本；其中x_t為跟蹤目標中心位置的橫坐標，y_t為跟蹤目標中心位置的縱坐標，l_t為原跟蹤目標區域的長度，h_t為原跟蹤目標區域的寬度，α為擴大比率，l_p,t為擴大后跟蹤目標區域的長度，h_p,t為擴大后跟蹤目標區域的寬度；

步驟二、對于在第一幀圖像中采樣得到的訓練樣本T，將其輸入到PVANET神經網絡中，提取出PVANET神經網絡中的Convf層輸出的分類特征其中Z_T表示PVANET神經網絡中通道數為512的Convf層輸出的分類特征，表示PVANET神經網絡中的Convf層輸出的分類特征Z_T中第n維特征；

步驟三、將訓練樣本T經過PVANET神經網絡后提取得到的Convf層輸出的分類特征用于相關濾波器參數的計算；

步驟四、對于下一幀圖像t+1，根據上一幀跟蹤目標中心位置(x_t,y_t)以及擴大后的跟蹤目標區域大小(l_p,t,h_p,t)，根據目標中心位置(x_t,y_t)以及擴大后的跟蹤目標區域大小(l_p,t,h_p,t)在該幀圖像中進行采樣，得到候選區域樣本P；

步驟五、對于采樣得到的候選區域樣本P，將其輸入到PVANET神經網絡中，提取出PVANET神經網絡中的RPN層輸出的離上一幀跟蹤目標中心位置(x_t,y_t)最近的5個候選框，并對這五個候選框依據步驟一中的擴大比率α進行背景信息的添加，而后進行采樣并變形至步驟一中的跟蹤目標區域大小(l_p,t,h_p,t)，從而構成的候選樣本集X＝(X₁ X₂…X₅)，以及這5個候選樣本構成的候選樣本集X所對應的Convf層輸出的分類特征其中表示第一個候選樣本X₁對應PVANET神經網絡中的Convf層中輸出的通道數為512的分類特征，即

步驟六、將候選樣本集每個候選樣本所對應的Convf層輸出的分類特征用于響應圖的計算，最終確定該幀跟蹤目標的中心位置(x_t+1,y_t+1)和跟蹤目標區域大小(l_t+1,h_t+1)；

步驟七、在得到跟蹤目標的中心位置和區域大小后，不斷重復步驟一至步驟六，直到視頻結束，完成對跟蹤目標的中心位置以及區域大小的跟蹤。

2.根據權利要求1所述的基于PVANET神經網絡的目標跟蹤方法，其特征在于，所述步驟三中的相關濾波器參數的計算，具體為：

首先，對Convf層輸出的分類特征進行快速傅立葉變換，從而將其從時域變換到頻域特征得到

其次，對于每個特征通道將其向量化后進行再構造成對角矩陣，即

將特征中所有通道構造成的對角矩陣重新組合構造成一個對角矩陣，即

利用這個對角矩陣D_t進行計算得到A_t和其中，

其中，W為空間正則化系數構造成的正則化矩陣；為高斯標簽經過快速傅立葉變換和實數化后得到的標簽；

最后，根據公式和計算得到經過快速傅立葉變換的相關濾波參數其中為經過快速傅立葉變換和實數化后的相關濾波參數，B^H為反實數化矩陣。