[發(fā)明專利]基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤方法及系統(tǒng)在審
| 申請?zhí)枺?/td> | 202210237692.6 | 申請日： | 2022-03-10 |
| 公開（公告）號(hào)： | CN114596432A | 公開（公告）日： | 2022-06-07 |
| 發(fā)明（設(shè)計(jì)）人： | 馬昕;于江磊;李貽斌 | 申請（專利權(quán)）人： | 山東大學(xué) |
| 主分類號(hào)： | G06V10/25 | 分類號(hào)： | G06V10/25;G06V10/44;G06V10/75;G06K9/62 |
| 代理公司： | 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221 | 代理人： | 楊琪 |
| 地址： | 250061 山東*** | 國省代碼： | 山東;37 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 前景 區(qū)域 對應(yīng) 模板 特征 視覺 跟蹤 方法 系統(tǒng) | ||
本發(fā)明提供了一種基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤方法及系統(tǒng)，包括：獲取圖像的模板特征和搜索特征；對獲取的圖像的模板特征和搜索特征進(jìn)行特征增強(qiáng)；從特征增強(qiáng)后的模板特征序列中提取與前景區(qū)域?qū)?yīng)的模板特征；將與前景區(qū)域?qū)?yīng)的模板特征與增強(qiáng)后的搜索特征進(jìn)行融合，得到融合特征；預(yù)測融合特征的分類和包圍框回歸結(jié)果；利用與前景區(qū)域?qū)?yīng)的模板特征增強(qiáng)搜索特征，減少了模板塊中背景信息的干擾，實(shí)現(xiàn)了目標(biāo)從背景中準(zhǔn)確分離出來的效果。
技術(shù)領(lǐng)域
本發(fā)明屬于視覺跟蹤技術(shù)領(lǐng)域，尤其涉及一種基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤方法及系統(tǒng)。
背景技術(shù)
視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺中的一項(xiàng)基本任務(wù)，其目的是在已知第一幀目標(biāo)包圍框的情況下預(yù)測后續(xù)視頻序列中目標(biāo)的包圍框和位置；它在視頻監(jiān)控、人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用；然而，大多數(shù)流行的視覺跟蹤器(如SiamFC、SiamRPN++和ATOM)在選擇模板塊時(shí)，選擇區(qū)域的大小是幾倍于目標(biāo)包圍框的大小；這會(huì)導(dǎo)致一些模板特征中包含大量的背景信息；這些跟蹤器使用互相關(guān)操作將所有的模板特征與搜索特征進(jìn)行匹配，很難精確地將目標(biāo)從背景中分離出來。
發(fā)明人發(fā)現(xiàn)，目前已經(jīng)有一些視覺跟蹤器對模板特征與搜索特征的深度融合進(jìn)行了探索，但是，它們沒有考慮到模板塊中背景信息對融合過程的干擾，背景信息特征與搜索特征相匹配，會(huì)干擾跟蹤器準(zhǔn)確地將目標(biāo)從背景中分離出來。
發(fā)明內(nèi)容
本發(fā)明為了解決上述問題，提出了一種基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤方法及系統(tǒng)，本發(fā)明提取了與圖像上前景區(qū)域?qū)?yīng)的模板特征(TFFR)，利用TFFR增強(qiáng)搜索特征，減少了模板塊中背景信息的干擾。
為了實(shí)現(xiàn)上述目的，本發(fā)明是通過如下的技術(shù)方案來實(shí)現(xiàn)：
第一方面，本發(fā)明提供了一種基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤方法，包括：
獲取圖像的模板特征和搜索特征；
對獲取的圖像的模板特征和搜索特征進(jìn)行特征增強(qiáng)；
從特征增強(qiáng)后的模板特征序列中提取與前景區(qū)域?qū)?yīng)的模板特征；
將與前景區(qū)域?qū)?yīng)的模板特征與增強(qiáng)后的搜索特征進(jìn)行融合，得到融合特征；
預(yù)測融合特征的分類和包圍框回歸結(jié)果，根據(jù)回歸結(jié)果得到圖像上待跟蹤目標(biāo)的預(yù)測包圍框。
進(jìn)一步的，兩個(gè)特征序列通過自注意力模塊進(jìn)行增強(qiáng)；增強(qiáng)機(jī)制為：
其中，Pz和Px是空間位置編碼，和分別是模板特征和搜索特征被語義增強(qiáng)過的特征序列，fz*和fx*是增強(qiáng)前的特征序列。
進(jìn)一步的，從特征增強(qiáng)后的模板特征序列中提取與前景區(qū)域?qū)?yīng)的模板特征時(shí)，計(jì)算模板特征掩碼，將補(bǔ)充參數(shù)設(shè)置為計(jì)算模板特征掩碼。
進(jìn)一步的，將模板特征作為自注意力模塊的鍵和值，將搜索特征作為自注意力模塊的查詢。
進(jìn)一步的，在特征融合層中加入FFN模塊。
第二方面，本發(fā)明還提供了一種基于前景區(qū)域?qū)?yīng)模板特征的視覺跟蹤器，包括：
骨干網(wǎng)絡(luò)，用于：獲取圖像的模板特征和搜索特征
特征融合網(wǎng)絡(luò)，用于：對獲取的圖像的模板特征和搜索特征進(jìn)行特征增強(qiáng)；從特征增強(qiáng)后的模板特征序列中提取與前景區(qū)域?qū)?yīng)的模板特征；將與前景區(qū)域?qū)?yīng)的模板特征與增強(qiáng)后的搜索特征進(jìn)行融合，得到融合特征；
預(yù)測頭部網(wǎng)絡(luò)，用于：預(yù)測融合特征的分類和包圍框回歸結(jié)果，根據(jù)回歸結(jié)果得到圖像上待跟蹤目標(biāo)的預(yù)測包圍框。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于山東大學(xué)，未經(jīng)山東大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210237692.6/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
