[發(fā)明專利]一種基于柔性卷積的單目標(biāo)跟蹤方法

在審

• 申請?zhí)枺?/td>: 202010773674.0
• 申請日: 2020-08-04
• 公開（公告）號: CN112116626A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 王濤;李浥東;李孟華;郎叢妍;馮松鶴
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 麻吉鳳

本發(fā)明實施例提供了一種基于柔性卷積的單目標(biāo)跟蹤方法，構(gòu)建柔性卷積網(wǎng)絡(luò)模型，所述柔性卷積網(wǎng)絡(luò)模型包括共享層和特定域?qū)樱脭?shù)據(jù)集對所述柔性卷積網(wǎng)絡(luò)模型進行訓(xùn)練，所述方法包括：S1、獲取原始視頻序列，進行預(yù)處理；S2、將預(yù)處理后的視頻序列輸入柔性卷積網(wǎng)絡(luò)模型，所述共享層通過卷積操作獲取目標(biāo)的共享特征，將共享特征輸入特定域?qū)舆M行目標(biāo)與背景的二分類，然后再進行柔性RoI池化選擇候選目標(biāo)區(qū)域，并利用損失函數(shù)提高候選目標(biāo)區(qū)域的精度，從而實現(xiàn)單目標(biāo)跟蹤。本發(fā)明實施例利用了基于柔性卷積的單目標(biāo)跟蹤方法，有效的改善了單目標(biāo)跟蹤中物體容易發(fā)生形變的問題，同時RoI池化提高候選目標(biāo)區(qū)域的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種基于柔性卷積的單目標(biāo)跟蹤方法。

背景技術(shù)

單目標(biāo)跟蹤技術(shù)是指在初始狀態(tài)，給定任意待跟蹤目標(biāo)，在視頻序列中識別和定位給定目標(biāo)的技術(shù)。單目標(biāo)跟蹤技術(shù)一直是計算機視覺領(lǐng)域的研究熱點，其能廣泛應(yīng)用在視頻監(jiān)控，無人駕駛和人機交互等多個領(lǐng)域。

由于物體在運動過程中容易發(fā)生形變(比如：尺度變化，旋轉(zhuǎn)、姿態(tài)變化等)，現(xiàn)有技術(shù)采用的單目標(biāo)跟蹤方法很難解決這一問題使得跟蹤效果不佳。如：傳統(tǒng)深度學(xué)習(xí)使用的是傳統(tǒng)的卷積方式進行特征提取，傳統(tǒng)卷積是規(guī)則的固定幾何大小的，如3*3大小，5*5大小等，其采樣出來的區(qū)域也是固定幾何大小的區(qū)域，基于傳統(tǒng)的單目標(biāo)跟蹤算法使用傳統(tǒng)卷積操作進行特征提取，然后通過相應(yīng)的跟蹤模型進行目標(biāo)跟蹤，如MDNet單目標(biāo)跟蹤算法使用的就是傳統(tǒng)的卷積方法實現(xiàn)跟蹤的。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)對不同的特征圖都采用相同的卷積操作，采樣的像素點位置固定，使得采樣出來的信息包括很多背景特征，不能自適應(yīng)物體的特征。

發(fā)明內(nèi)容

本發(fā)明的實施例提供了一種基于柔性卷積的單目標(biāo)跟蹤方法，以克服現(xiàn)有技術(shù)的缺陷。

為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案。

一種基于柔性卷積的單目標(biāo)跟蹤方法，構(gòu)建柔性卷積網(wǎng)絡(luò)模型，所述柔性卷積網(wǎng)絡(luò)模型包括共享層和特定域?qū)樱脭?shù)據(jù)集對所述柔性卷積網(wǎng)絡(luò)模型進行訓(xùn)練，所述方法包括：

S1、獲取原始視頻序列，進行預(yù)處理；

S2、將預(yù)處理后的視頻序列輸入柔性卷積網(wǎng)絡(luò)模型，所述共享層通過卷積操作獲取目標(biāo)的共享特征，將共享特征輸入特定域?qū)舆M行目標(biāo)與背景的二分類，然后再進行柔性RoI池化選擇候選目標(biāo)區(qū)域，并利用損失函數(shù)提高候選目標(biāo)區(qū)域的精度，從而實現(xiàn)單目標(biāo)跟蹤。

優(yōu)選地，所述柔性卷積網(wǎng)絡(luò)模型包括共享層和域特定層，其中，所述共享層包括3個卷積層conv1-3和2個全連接層fc4-5，每個全連接層有512個輸出單元，每兩個相鄰卷積層之間和兩個全連接層之間分別有relu和pooling層；

所述特定域?qū)訛槿嵝跃矸e網(wǎng)絡(luò)模型中全連接層fc6¹-fc6^K，所述全連接層fc6¹-fc6^K對應(yīng)有K個域，每個域都包含一個具有softmax交叉熵函數(shù)的二值分類層，負(fù)責(zé)區(qū)分每個域中的目標(biāo)和背景。

優(yōu)選地，所述softmax交叉熵函數(shù)公式如下：

其中，i₁為輸入，j₁為輸入的個數(shù)，e取2.7。

優(yōu)選地，所述共享層通過卷積操作獲取目標(biāo)的共享特征，包括：