[發(fā)明專利]基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011067770.X
• 申請(qǐng)日: 2020-10-07
• 公開（公告）號(hào): CN112258554B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 楊博;胡小鵬;王凡
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪;侯明遠(yuǎn)

本發(fā)明提供了基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，屬于圖像處理技術(shù)領(lǐng)域。第一步構(gòu)建定位子網(wǎng)與語義子網(wǎng)，每個(gè)子網(wǎng)均為一個(gè)孿生網(wǎng)絡(luò)，在定位子網(wǎng)中，利用孿生網(wǎng)絡(luò)提取前一幀目標(biāo)模板特征和搜索區(qū)域特征，在語義子網(wǎng)中，利用孿生網(wǎng)絡(luò)提取第一幀目標(biāo)模板特征和搜索區(qū)域特征。第二步構(gòu)建空間注意力模塊增強(qiáng)定位子網(wǎng)中提取的空間特征。第三步構(gòu)建通道注意力模塊激活語義子網(wǎng)中與目標(biāo)信息相關(guān)性強(qiáng)的通道特征。第四步對(duì)兩個(gè)子網(wǎng)的輸出響應(yīng)圖進(jìn)行加權(quán)融合以實(shí)現(xiàn)目標(biāo)跟蹤。本發(fā)明能夠提高跟蹤器在相似干擾或背景雜亂等復(fù)雜場(chǎng)景的特征判別能力，有效提高目標(biāo)跟蹤的準(zhǔn)確性與魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

隨著計(jì)算機(jī)硬件性能和軟件技術(shù)的迅猛發(fā)展，目標(biāo)跟蹤技術(shù)在計(jì)算機(jī)視覺應(yīng)用領(lǐng)域受到越來越多的關(guān)注，并在軍事和民用等許多領(lǐng)域都表現(xiàn)出非常廣泛的應(yīng)用前景。近年來，隨著深度學(xué)習(xí)技術(shù)的興起，越來越多跟蹤領(lǐng)域的學(xué)者也開始嘗試將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在目標(biāo)跟蹤領(lǐng)域。基于深度學(xué)習(xí)的目標(biāo)跟蹤算法大致可以分為兩類。第一類遵循學(xué)習(xí)分類器并進(jìn)行在線更新的策略，但是，由于需要更新大量的網(wǎng)絡(luò)參數(shù)，這些跟蹤器具有昂貴的計(jì)算代價(jià)。這一問題促使了第二類基于相似性學(xué)習(xí)的跟蹤器的出現(xiàn)，這類跟蹤器在跟蹤效率和精度之間實(shí)現(xiàn)了權(quán)衡。深度孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常被用于解決相似性學(xué)習(xí)問題，通過計(jì)算模板圖像和搜索圖像之間的相似度，將得分最高的位置作為目標(biāo)位置的預(yù)測(cè)結(jié)果。全卷積孿生網(wǎng)絡(luò)在目標(biāo)跟蹤中具有著非常優(yōu)秀表現(xiàn)，但是一些特殊場(chǎng)景下，比如相似干擾或背景雜亂等情況下，跟蹤器不能體現(xiàn)良好的泛化能力。這是因?yàn)檫@種跟蹤器在跟蹤時(shí)僅僅使用高層語義特征進(jìn)行目標(biāo)識(shí)別，在遇到相似干擾時(shí)，單一特征很容易導(dǎo)致跟蹤器的漂移。并且由于當(dāng)前幀的候選框位置嚴(yán)重依賴于前一幀的預(yù)測(cè)位置信息，一旦某一幀目標(biāo)定位發(fā)生較大的偏差，將嚴(yán)重阻礙跟蹤器的性能。因此，在某些復(fù)雜的場(chǎng)景下，特別是在存在類似干擾物或背景雜亂的情況下，跟蹤器的跟蹤能力受到極大的限制。

發(fā)明內(nèi)容

本發(fā)明旨在克服現(xiàn)有技術(shù)存在的不足，針對(duì)孿生網(wǎng)絡(luò)的特征判別能力在相似干擾和雜亂背景等特定場(chǎng)景下較弱的問題，提出了一種基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法。

本發(fā)明所采用的技術(shù)方案是：構(gòu)建基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤。神經(jīng)網(wǎng)絡(luò)中來自高層的特征包含了更強(qiáng)的語義信息，而低層特征關(guān)注輪廓、邊緣、紋理等特征信息，包含更精確的位置信息。這些語義信息和位置信息在目標(biāo)特征表達(dá)上具有互補(bǔ)性。本發(fā)明能夠充分利用層次特征來獲取視覺跟蹤所需的空間信息和語義信息，利用其互補(bǔ)的優(yōu)勢(shì)，以此提高跟蹤器將目標(biāo)從相似干擾物或雜亂無章的背景中區(qū)分出來的辨別能力，提高跟蹤器的可靠性和魯棒性。

基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，包括以下步驟：

第一步，構(gòu)建定位子網(wǎng)與語義子網(wǎng)，每個(gè)子網(wǎng)均為一個(gè)孿生網(wǎng)絡(luò)，在定位子網(wǎng)中，利用孿生網(wǎng)絡(luò)提取前一幀目標(biāo)模板特征和搜索區(qū)域特征，在語義子網(wǎng)中，利用孿生網(wǎng)絡(luò)提取第一幀目標(biāo)模板特征和搜索區(qū)域特征；

第二步，構(gòu)建空間注意力模塊增強(qiáng)定位子網(wǎng)中提取的空間特征；

第三步，構(gòu)建通道注意力模塊激活語義子網(wǎng)中與目標(biāo)信息相關(guān)性強(qiáng)的通道特征；

第四步，對(duì)兩個(gè)子網(wǎng)的輸出響應(yīng)圖進(jìn)行加權(quán)融合以實(shí)現(xiàn)跟蹤。

本發(fā)明的效果和益處：針對(duì)孿生網(wǎng)絡(luò)的特征判別能力在相似干擾和雜亂背景等特定場(chǎng)景下較弱的問題，提出了一種基于注意力機(jī)制的雙流層次孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法。該方法充分挖掘?qū)哟翁卣骰パa(bǔ)的優(yōu)勢(shì)，同時(shí)結(jié)合基于注意力機(jī)制提取目標(biāo)顯著特征，定位子網(wǎng)通過空間注意力模塊激活與目標(biāo)相關(guān)性強(qiáng)的空間特征，語義子網(wǎng)通過通道注意力模塊對(duì)跟蹤特定目標(biāo)方面發(fā)揮更重要作用的語義通道賦予更高的權(quán)重。本發(fā)明能夠提高跟蹤器在相似干擾或背景雜亂等復(fù)雜場(chǎng)景的特征判別能力，有效提高目標(biāo)跟蹤的準(zhǔn)確性與魯棒性。

附圖說明