[發明專利]一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法

有效

• 申請號: 202010028112.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111260687B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 李映;尹霄越;朱奕昕;薛希哲
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法，其特征在于步驟如下：

步驟1：讀取第一幀圖像數據以及目標塊在第一幀圖像中的參數R_target＝[x,y,w,h]，其中x,y表示目標左上角的橫縱坐標，w,h表示目標的寬和高；

步驟2：根據第一幀目標中心位置及長寬，確定一個目標區域R₁，R₁＝[x_center,y_center,1.5w,1.5h]；

步驟3：在區域R₁上進行特征提取，特征提取網絡使用帶有特征金字塔FPN的ResNet50殘差網絡結構，得到包含5種不同尺度S＝{1.0,0.8,0.4,0.2,0.1}倍原圖大小的256維深度特征J；

步驟4：將步驟3得到的特征分別輸入相關濾波模塊和檢測模塊；在相關濾波模塊中，截取特征J中對應于R_target中的部分J_target作為目標模板y₁；檢測模塊將目標特征J_target輸入其中的類別判定分支，網絡輸出目標的類別信息；

步驟5：讀取第k幀圖像，k≥2且起始值為2，根據前一幀目標參數[x_k-1,y_k-1,w_k-1,h_k-1]，確定第k幀目標區域R_k，采用步驟3中的方法對R_k進行特征提取，得到目標特征J_k，將J_k分別輸入相關濾波模塊、檢測模塊和語義分割模塊；

步驟6：相關濾波模塊中，令J_k等于該幀的訓練樣本x_k，結合該幀的目標模板y_k，訓練相關濾波器w；對w的訓練使用優化模型：

其中，f(·)表示相關操作，L(·)表示平方損失函數，λ為正則參數，為了求解方便，對x_k,y_k通過離散傅里葉變換得X_k,Y_k，把上述公式轉換到頻域計算，W表示頻域的w，解得

其中，h表示訓練樣本的特征維度；得到相關濾波器W后，根據下述公式計算出相關濾波模塊輸出的初始響應圖r：

其中，F^-1(·)表示傅里葉反變換，⊙表示點積，—表示復共軛算子；

步驟7：檢測模塊對J_k先進行一個卷積核大小為3×3的卷積操作；將卷積操作的輸出分別輸入類別判定分支，目標框回歸分支和掩膜分支；類別判定分支對輸入進行3×3的卷積操作，輸出維度為80，即COCO數據集的類別數目，每一維數據表示屬于該類別的置信度score；目標框回歸分支對輸入進行3×3的卷積操作，輸出維度為4，包含目標框的左上和右下角坐標；掩膜分支對輸入進行3×3的卷積操作，輸出維度為32，并對輸出使用tanh激活函數，生成每個像素點對應的系數c_i，用于語義分割模塊產生目標掩膜；所述的檢測模塊需在跟蹤算法執行之前預訓練；

步驟8：結合類別置信度和回歸框，可以逐像素得到其類別和目標框；按{1:2,1:1,2:1}設定錨點，經過非極大值抑制NMS處理，得到候選框；在這些候選框中根據第一幀得到的目標類別進行篩選，進一步得到區域R_k中與目標類別相同的檢測框，作為檢測模塊的輸出；同時得到對應像素點的掩膜系數表示為C＝tanh([c₁,c₂,...,c_t])∈R^t×32，t表示篩選出的目標框個數；

步驟9：語義分割模塊將J_k輸入一個全卷積神經網絡FCN，該網絡先經過3層卷積核大小為3×3的卷積操作，保持維度不變，后經過一層2倍的上采樣，在經過一層3×3的卷積，最后通過1×1的卷積輸出32維的語義分割原型，表示為D＝[d₁,d₂,...,d₃₂]∈R^32×n，n是特征圖的尺寸，即特征圖長寬的乘積；所述的語義分割模塊需在跟蹤算法執行之前預訓練；

步驟10：結合步驟7輸出的掩膜系數C，按下述公式生成目標掩膜M_t，p_i,x,y表示矩陣C×D中的元素，t表示共生產t個目標掩膜

步驟11：對M_t按下述公式進行選擇，得到最終的目標掩膜M，score表示類別的置信度，dist表示該掩膜中心到區域R_k中心的距離，i表示掩膜的索引，找出比值最大的掩膜作為最終目標掩膜M：

步驟12：根據檢測模塊輸出的目標框，對相關濾波器的初始響應圖r進行裁剪，保留目標框區域內的值，區域外的值置0，得到新的響應圖r_b；然后根據下述公式結合分割模塊的輸出，得到最終融合語義的響應圖r_m，p表示掩膜M的權重；

r_m＝(1-p)r_b+pM

步驟13：找出r_m上響應值最大的位置，作為目標位置，依據下述公式對相關濾波器w進行更新：

w_k＝(1-η)w_k-1+ηw_k

其中，η表示學習率；

步驟14：判斷是否處理完所有圖像，如果是則結束；否則返回步驟5。