[發(fā)明專(zhuān)利]基于孿生網(wǎng)絡(luò)的多模板視覺(jué)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011485768.4
• 申請(qǐng)日: 2020-12-16
• 公開(kāi)（公告）號(hào): CN112464900B
• 公開(kāi)（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 李智勇;胡晨明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖南大學(xué)
• 主分類(lèi)號(hào): G06V20/40
• 分類(lèi)號(hào): G06V20/40;G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)沙永星專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 43001
• 代理人: 周詠;米中業(yè)

本發(fā)明公開(kāi)了一種基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法，包括選擇一個(gè)現(xiàn)有的孿生網(wǎng)絡(luò)跟蹤器；獲取當(dāng)前的模板池；計(jì)算各個(gè)模板的可靠性分?jǐn)?shù)并從模板池中篩選出可靠模塊集合；計(jì)算可靠模塊集合中各個(gè)模板的匹配性分?jǐn)?shù)并篩選出處理當(dāng)前幀的最佳模板；采用最佳模板進(jìn)行視覺(jué)目標(biāo)跟蹤。本發(fā)明提供的這種基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法，不需要重新訓(xùn)練網(wǎng)絡(luò)，只需要進(jìn)行額外的模板選擇即可實(shí)現(xiàn)視覺(jué)目標(biāo)跟蹤，同時(shí)本發(fā)明還更新模板來(lái)提高跟蹤精度；因此本發(fā)明方法不僅能夠?qū)崿F(xiàn)更好的跟蹤性能，而且易于實(shí)施，可靠性高，有效性好。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺(jué)領(lǐng)域，具體涉及一種基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法。

背景技術(shù)

隨著經(jīng)濟(jì)技術(shù)的發(fā)展和人們生活水平的提高，攝像設(shè)備已經(jīng)隨處可見(jiàn)，同時(shí)機(jī)器視覺(jué)技術(shù)也已經(jīng)廣泛應(yīng)用于人們的生產(chǎn)和生活當(dāng)中，給人們的生產(chǎn)和生活帶來(lái)了無(wú)盡的便利。

視覺(jué)目標(biāo)跟蹤是機(jī)器視覺(jué)領(lǐng)域的基礎(chǔ)技術(shù)，旨在提取視頻中感興趣目標(biāo)的位置和尺度信息。近期，基于孿生網(wǎng)絡(luò)的跟蹤方法在該領(lǐng)域取得巨大的進(jìn)步。此類(lèi)方法的核心思想是把目標(biāo)跟蹤任務(wù)轉(zhuǎn)化為相似度匹配任務(wù)：以視頻初始幀中的目標(biāo)作為模板，以視頻后續(xù)幀作為搜索幀，分別用全卷積神經(jīng)網(wǎng)絡(luò)提取特征，最后對(duì)模板特征和搜索特征進(jìn)行互相關(guān)計(jì)算，得到響應(yīng)圖，從響應(yīng)圖的峰值信息中便可以得出目標(biāo)的位置信息。

然而，現(xiàn)有的孿生網(wǎng)絡(luò)跟蹤方法，僅以第一幀的目標(biāo)作為模板，難以應(yīng)對(duì)目標(biāo)在復(fù)雜場(chǎng)景下的外觀(guān)變化，從而丟失目標(biāo)的位置，造成視覺(jué)目標(biāo)跟蹤的失敗。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種可靠性高、有效性好且易于實(shí)施的基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法。

本發(fā)明提供的這種基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法，包括如下步驟：

S1.選擇一個(gè)現(xiàn)有的孿生網(wǎng)絡(luò)跟蹤器；

S2.獲取當(dāng)前的模板池；

S3.根據(jù)步驟S2獲取的模板池，計(jì)算各個(gè)模板的可靠性分?jǐn)?shù)，并從模板池中篩選出可靠模板集合；

S4.計(jì)算步驟S3得到的可靠模塊集合中各個(gè)模板的匹配性分?jǐn)?shù)，并從可靠模塊集合中篩選出處理當(dāng)前幀的最佳模板；

S5.采用步驟S4得到的最佳模板進(jìn)行視覺(jué)目標(biāo)跟蹤。

所述的基于孿生網(wǎng)絡(luò)的視覺(jué)目標(biāo)跟蹤方法，還包括如下步驟：

S6.計(jì)算當(dāng)前幀最終跟蹤結(jié)果的聯(lián)合IOU，并判定是否為新的模式；

S7.計(jì)算模板池中各個(gè)模板的當(dāng)前跟蹤損失以及累計(jì)跟蹤損失；

S8.根據(jù)步驟S6的計(jì)算結(jié)果和步驟S7的計(jì)算結(jié)果，跟新模板池。

步驟S1所述的現(xiàn)有的孿生網(wǎng)絡(luò)跟蹤器，具體包括Siamese-FC、Siamese-RPN、SiamMask和Siamfc++。

步驟S2所述的模板池，具體為模板池為一個(gè)集合S，其中每一項(xiàng)都包含若干與模板相關(guān)的信息；集合S表示為S＝{(z_i,l_i,x_i)|1≤i≤K}，其中K為模板的數(shù)目，z_i為模板圖像，l_i為模板的跟蹤損失，x_i為模板圖像z_i所在的搜索幀圖像；同時(shí)，視頻初始幀中的模板始終保存在模板池S中的第一個(gè)位置。

步驟S3所述的計(jì)算各個(gè)模板的可靠性分?jǐn)?shù)，并從模板池中篩選出可靠模塊集合，具體為采用如下步驟得到各個(gè)模板的可靠性分?jǐn)?shù)并得到可靠模板集合：

A.采用孿生網(wǎng)絡(luò)的基準(zhǔn)網(wǎng)絡(luò)提取模板圖像的深度特征f_i為模板圖像z_i對(duì)應(yīng)的深度特征，為基準(zhǔn)網(wǎng)絡(luò)，θ為網(wǎng)絡(luò)的權(quán)重；