[發明專利]一種自適應目標框優化的無人機跟蹤方法

在審

• 申請號: 202210525565.6
• 申請日: 2022-05-16
• 公開（公告）號: CN114820712A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 張雄;李晏隆;上官宏;武曉嘉;寧愛平;王安紅
• 申請（專利權）人: 太原科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06V10/44;G06V10/764;G06V10/82;G06V10/766;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 太原中正和專利代理事務所(普通合伙) 14116
• 代理人: 焦進宇

本發明屬于圖像處理技術領域，具體涉及一種針對無人機視角下選定目標進行準確跟蹤的圖像方法，具體技術方案為：一種自適應目標框優化的無人機跟蹤方法，孿生跟蹤網絡由特征提取骨干網絡模塊、錨點候選模塊、多尺度特征提取模塊、特征融合模塊和自適應分類回歸模塊組成；本發明一方面引入了一個全新的多尺度通道注意力機制—MSCA模塊，通過此模塊提高了用于錨點生成的模板特征的表達能力，另一方面引入了可變形卷積的思想，利用錨框信息作為偏移量參數，用于提高自適應分類和回歸網絡的信息獲取能力，在UAV123、UAV20L、GOT?10K等三個公開基準數據集上的實驗表明，與傳統的算法相比，我們提出的方法擁有更好的跟蹤性能。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種針對無人機視角下選定目標進行準確跟蹤的圖像方法。

背景技術

目標跟蹤是一項基礎性的計算機視覺任務，通過第一幀確定的目標信息逐幀定位所選定的目標實現跟蹤，在無人控制、工業制造、交通監測等方面都有著舉足輕重的作用。

近年來，由于無人機具有強大的靈活性，并且用于廣泛的工業領域，如航拍技術、地圖測繪、災后救援等，所以無人機目標跟蹤受到了廣泛的關注。它有廣泛的應用前景，其優勢是攝像機可以根據視覺反饋跟蹤目標，并且可以通過改變跟蹤角度去跟蹤目標的方向和位置來優化跟蹤性能。然而在無人機跟蹤中，也會伴隨著一些傳統跟蹤問題中難以遇到的困難：跟蹤對象的環境多變(如遇到突變的光照變化)、背景雜波和嚴重遮擋等；此外，無人機的跟蹤姿態也會發生極端變化，使目標外觀極端形變。由于當前嵌入式移動平臺的計算能力有限，如何設計出一種跟蹤速度快、精度高的無人機跟蹤器仍然是一項極具挑戰性的任務。

在卷積神經網絡的跟蹤器中，孿生網絡類跟蹤器由其獨特的網絡結構從而表現出優越的性能。2016年，SiamFC提出了孿生跟蹤網絡的結構，通過選定第一幀的跟蹤對象作為模板，計算與視頻序列的搜索分支的相似度來進行跟蹤。之后，SiamRPN引入了目標檢測領域的區域候選網絡，將跟蹤轉化為“一次檢測”任務，得到更加精確的目標邊界框。在之后RPN網絡的基礎上，SiamRPN++、DaSiamRPN進一步提高了網絡的跟蹤性能。然而傳統的錨點生成機制中對于錨框是預定義的(如錨框的縱橫比、數量、大小等)，不能適應跟蹤場景下的突變的運動模式和尺度，特別是在出現快速運動和尺度變化較大時容易發生跟蹤漂移。因此，基于RPN網絡跟蹤算法需要通過對這些超參數的不斷調優來提高其性能。2021年，Wenzhang Zhou,Longyin Wen等人對SiamRPN++進行改進，設計了一個魯棒性更強的孿生跟蹤網絡SiamCan，它對RPN網絡增加了一個新的分支—定位分支，并將一個全局上下文模塊引入到定位分支中用于捕獲特征的上下文信息。通過定位分支幫助回歸分支生成更準確的位置信息，從而對目標的大位移具有更強的魯棒性。同時，SiamCan還利用多尺度注意力模塊來引導這三個分支，增強三層特征之間的差異性使網絡獲得更好的性能，然而這種設計計算復雜度高，一般的計算平臺難以滿足實時跟蹤的需求。2020年，Yinda Xu,Zeyu Wang等人提出了一種無錨點的跟蹤算法SiamFC++，通過計算預測目標的中心位置與真實邊界框四個邊的偏移量從而得到跟蹤對象的預測位置信息。然而SiamFC++雖然通過無錨點的跟蹤方法省去了錨點超參數的調優過程，但沒有解決訓練過程中正負樣本不平衡的問題。