[發明專利]一種用于機器人視覺的目標跟蹤方法

在審

• 申請號: 202211226432.5
• 申請日: 2022-10-09
• 公開（公告）號: CN115641449A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 侯躍恩;鄧嘉明;羅志堅;高延增;劉茗鑠;唐家暉
• 申請（專利權）人: 嘉應學院
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 廣州海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 羅振國

本發明公開了一種用于機器人視覺的目標跟蹤方法；屬于目標跟蹤方法技術領域；其包括下述步驟：(1)在圖像首幀手動獲得要跟蹤目標在二維圖像上的左上和右下坐標，截取目標圖像及其周邊的樣本圖像塊作為模板，通過特征提取深度網絡獲得模板樣本特征張量；(2)將搜索區域樣本輸入特征提取深度網絡，獲得搜索區域樣本特征張量；(3)將模板的特征張量和搜索區域的特征張量同時輸入基于內卷?注意力模型的特征增強和特征融合網絡，得到包含模板特征和搜索區域特征的融合特征張量，再將其通過分類網絡和回歸網絡得到跟蹤結果；本發明旨在提供一種跟蹤成功率高、跟蹤誤差小且能實現實時跟蹤的用于機器人視覺的目標跟蹤方法；用于實時目標跟蹤。

技術領域

本發明涉及一種目標跟蹤方法，更具體地說，尤其涉及一種用于機器人視覺的目標跟蹤方法。

背景技術

視頻目標跟蹤技術，作為機器視覺研究中的重要內容，受到了研究人員的廣泛關注。它旨在通過第一幀獲得的目標狀態信息，在視頻中對目標進行跟蹤，以獲得每幀目標狀態。在跟蹤的過程中，存在目標形態變化、光照變化復雜背景和目標被遮擋等情況。在這些情況下，目標特征結構會發生相應變化，造成跟蹤算法難于鎖定目標。

自深度學習技術引入視覺跟蹤以來，卷積被廣泛用于特征提取和模板和搜索區域融合的框架中。目前流行的深度學習跟蹤器主要由卷積核構造，然而，由于計算量大，卷積核無法設計得太大。因此，卷積核不能在單次對長距離信息進行交互，當出現相似目標或目標形態變化較大時，模型的這種缺陷限制了復雜場景的處理能力。

長距離依賴問題可以通過引入自注意力機制得到有效解決，自注意力機制已經成功地應用于機器翻譯，自然語言處理和語音處理過程中。此外，它還在圖像處理過程中得到了出色的實驗結果，比如目標跟蹤和目標檢測。雖然自注意力機制可以很好地捕獲全局信息，但是它沒有特別地關注局部信息，對于目標跟蹤來說，目標周圍的局部信息應該占有較大的權重。因此，有必要開發一個既能像自注意力機制一樣能處理全局又能像卷積處理局部信息的模型來解決這個問題。

發明內容

本發明的目的在于針對上述現有技術的不足，提供一種跟蹤成功率高、跟蹤誤差小且能實現實時跟蹤的用于機器人視覺的目標跟蹤方法。

本發明的技術方案是這樣實現的：一種用于機器人視覺的目標跟蹤方法，包括下述步驟：

(1)在圖像首幀手動獲得要跟蹤的目標在二維圖像上的左上和右下坐標，截取目標圖像及其周邊的樣本圖像塊作為模板，通過特征提取深度網絡獲得模板樣本特征張量；

(2)將搜索區域樣本輸入相同的特征提取深度網絡，獲得搜索區域樣本特征張量；

(3)將模板的特征張量和搜索區域的特征張量同時輸入基于內卷-注意力模型的特征增強和特征融合網絡，得到包含了模板特征和搜索區域特征的融合特征張量，再將該融合特征張量通過分類網絡和回歸網絡得到跟蹤結果。

上述的一種用于機器人視覺的目標跟蹤方法，步驟(1)中，所述特征提取深度網絡具體為：其采用ResNet50網絡作為基準；ResNet50包括一個干層和四個支干層，分別有3、4、6和3個bottleneck；

在特征提取深度網絡中，丟棄了ResNet50的第四層，將第三層的Conv2d算子的下采樣stride參數由2變成1；在ResNet50的干層，使用7×7對內部卷積和代替以前的7×7卷積核；在其他層，全部的3×3卷積核被7×7內部卷積核所取代；最后，在第三層之后增加了1×1卷積。

上述的一種用于機器人視覺的目標跟蹤方法，步驟(3)所述內卷-注意力模型由一個內注模塊、兩個AddNorm模塊和一個FFNRelu模塊構成；

所述內注模塊以張量A和張量B為輸入；使用和分別構建卷積張量和內部卷積核，其中d為通道數，w×w為圖像塊的尺度；

為了構建內部卷積核，張量B被展開為那么，給定可學習參數矩陣和可以得到查詢Q和鍵K為