[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)跟蹤算法

在審

• 申請?zhí)枺?/td>: 201911064821.0
• 申請日: 2019-10-25
• 公開（公告）號: CN111126132A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計）人: 朱成;姚燕平;張英明
• 申請（專利權(quán)）人: 寧波必創(chuàng)網(wǎng)絡(luò)科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于孿生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)跟蹤算法，包括如下步驟：第一步：設(shè)定一個函數(shù)f比較模板圖像x和候選圖像y的特征圖相似度，響應(yīng)值最大對應(yīng)目標(biāo)位置，x一般是第一幀中目標(biāo)為中心的圖像，y則是第n幀中以n?1幀圖像目標(biāo)為中心搜索的圖像；兩個輸入都代入卷積神經(jīng)網(wǎng)絡(luò)，使用卷積處理函數(shù)，學(xué)習(xí)網(wǎng)絡(luò)參數(shù)ρ，產(chǎn)生兩個互相關(guān)的映射，通過在y處對x進行窮舉搜索，則響應(yīng)最大值對應(yīng)目標(biāo)的位置；在孿生網(wǎng)絡(luò)中輸入x和互相關(guān)操作之間增加改進的判別式相關(guān)濾波層，第三步：通過過衡量模板圖像x與搜索圖像y之間的相似性進行跟蹤，在線跟蹤時憑借判別式相關(guān)濾波器模塊來進行在線微調(diào)以保證跟蹤的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及一種基于孿生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)跟蹤算法。

背景技術(shù)

目標(biāo)跟蹤就是在一段視頻幀標(biāo)注目標(biāo)第一幀矩形框，然后定位該目標(biāo)在視頻中每一幀的位置，產(chǎn)生目標(biāo)運動軌跡。目標(biāo)跟蹤問題在智能監(jiān)視系統(tǒng)、自動駕駛、無人機監(jiān)測、智能交通管理、人機交互等領(lǐng)域?qū)崟r視覺應(yīng)用中起到了關(guān)鍵作用，是計算機視覺研究的重要內(nèi)容。

目標(biāo)跟蹤因其在現(xiàn)實生活中的廣泛應(yīng)用已經(jīng)成為了計算機視覺領(lǐng)域的研究熱點，但仍面臨較多難題。隨著深度學(xué)習(xí)在目標(biāo)識別和跟蹤領(lǐng)域取得的巨大成功，越來越多的研究者著手于將卷積神經(jīng)網(wǎng)絡(luò)(CNN)框架應(yīng)用于目標(biāo)跟蹤。

王乃巖等提出忽視先驗知識的缺乏，引用遷移學(xué)習(xí)的理念，預(yù)先讓深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相關(guān)的任務(wù)，再將預(yù)訓(xùn)練后的網(wǎng)絡(luò)應(yīng)用于目標(biāo)，最后使用隨機梯度下降方法(SGD)微調(diào)網(wǎng)絡(luò)，但該方法實現(xiàn)在線調(diào)整的代價十分昂貴，無法做到實時運算。現(xiàn)有技術(shù)中使用孿生卷積網(wǎng)絡(luò)，先采用離線的方式訓(xùn)練模型來區(qū)分兩個圖像塊中是否含有相同的目標(biāo)，然后比較圖像塊的相似性跟蹤對象，以此來繞過在線學(xué)習(xí)問題。近年來，不少研究者提出使用相關(guān)濾波器進行在線學(xué)習(xí)。相較于隨機梯度下降算法反復(fù)迭代求解方法，相關(guān)濾波算法極大地提升了跟蹤效率，并且在準(zhǔn)確性和魯棒性方面表現(xiàn)出不俗的性能。目前，基于DCF方法的跟蹤性能改進主要是在多維特征、魯棒性尺度估計、非線性核、長期記憶成分和減少邊界效應(yīng)等方面展開，但是，這些方法在提高精度的同時卻降低了跟蹤速度。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提供了一種基于孿生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)跟蹤算法：

一種基于孿生網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)跟蹤算法，包括如下步驟：

第一步：設(shè)定一個函數(shù)f比較模板圖像x和候選圖像y的特征圖相似度，響應(yīng)值最大對應(yīng)目標(biāo)位置，x一般是第一幀中目標(biāo)為中心的圖像，y則是第n幀中以n-1幀圖像目標(biāo)為中心搜索的圖像；

兩個輸入都代入卷積神經(jīng)網(wǎng)絡(luò)，使用卷積處理函數(shù)，學(xué)習(xí)網(wǎng)絡(luò)參數(shù)ρ，產(chǎn)生

兩個互相關(guān)的映射，

通過上式在y處對x進行窮舉搜索，則響應(yīng)最大值對應(yīng)目標(biāo)的位置；

第二步：根據(jù)上式，在孿生網(wǎng)絡(luò)中輸入x和互相關(guān)操作之間增加改進的判別式相關(guān)濾波層，因此得分響應(yīng)變化為

第三步：通過過衡量模板圖像x與搜索圖像y之間的相似性進行跟蹤，其中模板圖像即跟蹤目標(biāo)，搜索圖像則為新一幀中以前一幀預(yù)測的目標(biāo)位置為中心提取出的搜索區(qū)域，引入尺度參數(shù)δ和偏差參數(shù)b使得分的范圍更適合邏輯回歸 (logistcregression)，網(wǎng)絡(luò)在離線情況下從視頻集中抽選出大量隨機對{x， y}進行訓(xùn)練，每個示例都有一個標(biāo)簽為t的空間映射，值為{-1，1}，正確的目標(biāo)位置屬于正類，其它的全部為負(fù)類，卷積網(wǎng)絡(luò)的參數(shù)通過隨機梯度下降算法最小化損失函數(shù)獲得訓(xùn)練網(wǎng)絡(luò)采取判別性方法，

在正負(fù)樣本對上采用最大似然估計離線訓(xùn)練得到卷積網(wǎng)絡(luò)的參數(shù)后，在線跟蹤時憑借判別式相關(guān)濾波器模塊來進行在線微調(diào)以保證跟蹤的準(zhǔn)確性。

優(yōu)選的，所述判別式相關(guān)濾波器模塊的計算方法如下：