[發明專利]一種用于機器人視覺的目標跟蹤方法

在審

• 申請號: 202211226432.5
• 申請日: 2022-10-09
• 公開（公告）號: CN115641449A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 侯躍恩;鄧嘉明;羅志堅;高延增;劉茗鑠;唐家暉
• 申請（專利權）人: 嘉應學院
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 廣州海心聯合專利代理事務所(普通合伙) 44295
• 代理人: 羅振國

1.一種用于機器人視覺的目標跟蹤方法，其特征在于，包括下述步驟：

(1)在圖像首幀手動獲得要跟蹤的目標在二維圖像上的左上和右下坐標，截取目標圖像及其周邊的樣本圖像塊作為模板，通過特征提取深度網絡獲得模板樣本特征張量；

(2)將搜索區域樣本輸入相同的特征提取深度網絡，獲得搜索區域樣本特征張量；

(3)將模板的特征張量和搜索區域的特征張量同時輸入基于內卷-注意力模型的特征增強和特征融合網絡，得到包含了模板特征和搜索區域特征的融合特征張量，再將該融合特征張量通過分類網絡和回歸網絡得到跟蹤結果。

2.根據權利要求1所述的一種用于機器人視覺的目標跟蹤方法，其特征在于，步驟(1)中，所述特征提取深度網絡具體為：其采用ResNet50網絡作為基準；ResNet50包括一個干層和四個支干層，分別有3、4、6和3個bottleneck；

在特征提取深度網絡中，丟棄了ResNet50的第四層，將第三層的Conv2d算子的下采樣stride參數由2變成1；在ResNet50的干層，使用7×7對內部卷積和代替以前的7×7卷積核；在其他層，全部的3×3卷積核被7×7內部卷積核所取代；最后，在第三層之后增加了1×1卷積。

3.根據權利要求1所述的一種用于機器人視覺的目標跟蹤方法，其特征在于，步驟(3)所述內卷-注意力模型由一個內注模塊、兩個AddNorm模塊和一個FFNRelu模塊構成；

所述內注模塊以張量A和張量B為輸入；使用和分別構建卷積張量和內部卷積核，其中d為通道數，w×w為圖像塊的尺度；

為了構建內部卷積核，張量B被展開為那么，給定可學習參數矩陣和可以得到查詢Q和鍵K為

Q＝B′W_Q

K＝B′W_K， (1)

其中，而后，注意力矩陣可以由式(2)獲得；

然后，將注意力矩陣M變維為內部卷積核張量其中g為內部卷積核的組數，w×w為卷積圖像的尺度，k×k為內部卷積核大小。

4.根據權利要求3所述的一種用于機器人視覺的目標跟蹤方法，其特征在于，將注意力矩陣M變維為內部卷積核張量I依賴于不同類型的B，需要處理兩種類型的輸入B：搜索區域樣本和模板集樣本，模板集樣本由四個模板組成，可以在線更新；

當輸入B是一個搜索區域張量時，M_i，j表示Q的第i行和K的第j行相似度；由于每個核都是全局采樣的，因此所有的內部卷積核都能夠捕獲搜索區域的長程依賴關系；該策略稱為內卷注意力策略1；

當輸入B是一個模板集張量時，使用四個模板來連接模板集張量；M的第i行描述了Q中的第i個元素與K中四個模板中的所有元素之間的相似性；由于每個核都是全局采樣的，因此所有的內部卷積核都能夠捕獲模板集張量的長依賴關系；該策略稱為內卷注意力策略2。

5.根據權利要求4所述的一種用于機器人視覺的目標跟蹤方法，其特征在于，步驟(3)中，基于內卷-注意力模型的特征增強和特征融合網絡由五個模塊構成：內卷-注意力模板模塊，內卷-注意力搜索區域模塊，內卷-注意力模板搜索模塊，內卷-注意力搜索模板模塊和內卷-注意力混合模塊模塊；其中，五個模塊中的內卷-注意力均表示基于內卷-注意力模型；

得到包含了模板特征和搜索區域特征的融合特征張量的具體步驟為：首先，模板集特征F_T0和搜索區域特征F_s0分別通過內卷-注意力模板模塊和內卷-注意力搜索區域模塊，得到增強特征F_T1和F_S1；然后，將增強后的模板特征F_T1和搜索區域特征F_S1同時交叉輸入內卷-注意力模板搜索模塊和內卷-注意力搜索模板模塊，獲得融合特征F_T2和F_S2；其中，內卷-注意力模板模塊，內卷-注意力搜索區域模塊，內卷-注意力模板搜索模塊，內卷-注意力搜索模板模塊共同構建特征增強融合層，重復4次；

在特征增強融合層之后，內卷-注意力混合模塊以融合特征F_T2和F_S2為輸入，輸出特征F，并將其送入回歸網絡和分類網絡中。