[發(fā)明專利]一種自適應(yīng)目標(biāo)框優(yōu)化的無(wú)人機(jī)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210525565.6
• 申請(qǐng)日: 2022-05-16
• 公開(kāi)（公告）號(hào): CN114820712A
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 張雄;李晏隆;上官宏;武曉嘉;寧愛(ài)平;王安紅
• 申請(qǐng)（專利權(quán)）人: 太原科技大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/73;G06V10/44;G06V10/764;G06V10/82;G06V10/766;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 太原中正和專利代理事務(wù)所(普通合伙) 14116
• 代理人: 焦進(jìn)宇

1.一種自適應(yīng)目標(biāo)框優(yōu)化的無(wú)人機(jī)跟蹤方法，其特征在于，包括孿生跟蹤網(wǎng)絡(luò)，所述孿生跟蹤網(wǎng)絡(luò)由特征提取骨干網(wǎng)絡(luò)模塊、錨點(diǎn)候選模塊、多尺度特征提取模塊、特征融合模塊和自適應(yīng)分類回歸模塊組成；

所述特征提取骨干網(wǎng)絡(luò)模塊包括共享參數(shù)的模塊分支和搜索分支，模塊分支輸入模板圖像Z，模板圖像Z經(jīng)過(guò)特征提取骨干網(wǎng)絡(luò)的5層卷積后，得到輸出特征圖搜索分支輸入視頻序列中的某一幀搜索圖像X，搜索圖像X也經(jīng)過(guò)特征提取骨干網(wǎng)絡(luò)的5層卷積后，得到輸出特征圖

所述錨點(diǎn)候選模塊是將模塊特征與搜索特征進(jìn)行卷積運(yùn)算得到響應(yīng)特征R₄中的每一個(gè)點(diǎn)上對(duì)應(yīng)生成一個(gè)錨，用于預(yù)測(cè)目標(biāo)位置，為了進(jìn)一步提高錨的準(zhǔn)確性，在錨點(diǎn)候選模塊前增加一個(gè)多尺度信息模塊，將模板分支經(jīng)過(guò)特征提取骨干網(wǎng)絡(luò)得到的第四層輸出特征圖作為該模塊的輸入；

所述多尺度特征提取模塊用于建立分類回歸模塊與錨點(diǎn)候選網(wǎng)絡(luò)模塊之間的信息關(guān)系；

所述特征融合模塊由響應(yīng)特征R₅與用于錨點(diǎn)候選模塊的響應(yīng)特征R₄進(jìn)行融合構(gòu)成，模板特征與搜索特征進(jìn)行互相關(guān)操作得到響應(yīng)特征R₅；

所述自適應(yīng)分類回歸模塊是在SiamAPN網(wǎng)絡(luò)的分類回歸模塊基礎(chǔ)上增加了一個(gè)引導(dǎo)式卷積模塊，用于訓(xùn)練跟蹤器的分類能力與定位能力。

2.根據(jù)權(quán)利要求1所述的一種自適應(yīng)目標(biāo)框優(yōu)化的無(wú)人機(jī)跟蹤方法，其特征在于，將作為輸入特征x送入多尺度通道注意力機(jī)制中，經(jīng)過(guò)四個(gè)卷積核后被分為四個(gè)大小為C/4×H×W的特征x₁、x₂、x₃、x₄，之后對(duì)這四個(gè)特征進(jìn)行分布式處理；

對(duì)x₁保持不變，用來(lái)保留原始特征的基本信息；

將x₂送入一個(gè)大小為3×3的卷積核a，得到特征y₁，之后對(duì)特征y₁進(jìn)行平均池化，再經(jīng)過(guò)上采樣得到一個(gè)與x₂大小相同的特征z₁；

將x₃送入一個(gè)大小為5×5的卷積核b，得到特征y₂，之后對(duì)特征y₂進(jìn)行平均池化，再經(jīng)過(guò)上采樣得到一個(gè)與x₃大小相同的特征z₂；

將x₄送入一個(gè)大小為7×7的卷積核c，得到特征y₃，之后對(duì)特征y₃進(jìn)行平均池化，再經(jīng)過(guò)上采樣得到一個(gè)與x₄大小相同的特征z₃；

將x₁、z₁送入ECA1注意力模塊中，z₂、z₃送入ECA2注意力模塊中，分別得到各個(gè)特征的注意力權(quán)重α₁、α₂、α₃、α₄，這種ECA注意力模塊；

將α₁、α₂、α₃、α₄進(jìn)行級(jí)聯(lián)得到注意力權(quán)重α₅，再對(duì)α₅進(jìn)行softmax處理，得到最終的多尺度通道交互注意力權(quán)值矩陣α_all；

將得到的多尺度通道交互注意力權(quán)值矩陣α_all與原始特征X進(jìn)行相乘，最終得到一個(gè)具有多尺度通道交互信息的特征Y。

3.根據(jù)權(quán)利要求2所述的一種自適應(yīng)目標(biāo)框優(yōu)化的無(wú)人機(jī)跟蹤方法，其特征在于，引導(dǎo)式卷積利用了可變形卷積思想，在標(biāo)準(zhǔn)傳統(tǒng)卷積的基礎(chǔ)上對(duì)每個(gè)卷積核的采樣點(diǎn)增加了一個(gè)二維偏移量，從而獲得不規(guī)則的采樣位置，抽取到與產(chǎn)生二維偏移量信息相關(guān)的特征；

引導(dǎo)式卷積利用了可變形卷積的方式，將自適應(yīng)錨點(diǎn)后懸網(wǎng)絡(luò)中錨框的縱橫比設(shè)定為引導(dǎo)可變形卷積感受野變化的偏移參數(shù)，不同的錨框產(chǎn)生的偏移量不同，獲取到的特征更容易對(duì)應(yīng)于具有不同尺度變換的目標(biāo)。

4.根據(jù)權(quán)利要求3所述的一種自適應(yīng)目標(biāo)框優(yōu)化的無(wú)人機(jī)跟蹤方法，其特征在于，自適應(yīng)分類回歸網(wǎng)絡(luò)的分支結(jié)構(gòu)采用的損失函數(shù)如下：

L_cls＝λ_cls1l_cls1+λ_cls2l_cls2+λ_cls3l_cls3 (1)

L_cls為分類分支的總分類損失，由三個(gè)子分類損失構(gòu)成，其中，l_cls1為交叉熵?fù)p失函數(shù)，用于調(diào)節(jié)錨框與真實(shí)邊界框的IOU；l_cls2為二元交叉熵?fù)p失函數(shù)，集中于選擇落在真實(shí)邊界框中的錨點(diǎn)；l_cls3為二元交叉熵?fù)p失函數(shù)，用于優(yōu)化每個(gè)對(duì)應(yīng)點(diǎn)與地面真實(shí)值的中心距離；λ_cls1、λ_cls2、λ_cls3為預(yù)定義的超參數(shù)；

L_loc＝λ_loc1l_IOU+λ_loc2l_loc (2)

L_loc為回歸分支的總回歸損失，l_loc為L(zhǎng)1損失函數(shù)，用于預(yù)測(cè)框回歸；其中l(wèi)_IOU為IOU損失函數(shù)，用于預(yù)測(cè)框與真實(shí)框的IOU損失優(yōu)化，幫助模型獲得更魯棒的回歸結(jié)果；λ_loc1、λ_loc2為預(yù)定義的超參數(shù)；

L＝L_apn+L_cls+L_loc (3)

整個(gè)網(wǎng)絡(luò)的損失函數(shù)如式(3)中所示，其中L_apn為自適應(yīng)錨點(diǎn)模塊的損失函數(shù)，用于自適應(yīng)錨點(diǎn)的優(yōu)化。