[發(fā)明專利]一種基于柔性卷積的單目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010773674.0
• 申請(qǐng)日: 2020-08-04
• 公開(kāi)（公告）號(hào): CN112116626A
• 公開(kāi)（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 王濤;李浥東;李孟華;郎叢妍;馮松鶴
• 申請(qǐng)（專利權(quán)）人: 北京交通大學(xué)
• 主分類號(hào): G06T7/20
• 分類號(hào): G06T7/20;G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 麻吉鳳

1.一種基于柔性卷積的單目標(biāo)跟蹤方法，其特征在于，構(gòu)建柔性卷積網(wǎng)絡(luò)模型，所述柔性卷積網(wǎng)絡(luò)模型包括共享層和特定域?qū)?，利用?shù)據(jù)集對(duì)所述柔性卷積網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，所述方法包括：

S1、獲取原始視頻序列，進(jìn)行預(yù)處理；

S2、將預(yù)處理后的視頻序列輸入柔性卷積網(wǎng)絡(luò)模型，所述共享層通過(guò)卷積操作獲取目標(biāo)的共享特征，將共享特征輸入特定域?qū)舆M(jìn)行目標(biāo)與背景的二分類，然后再進(jìn)行柔性RoI池化選擇候選目標(biāo)區(qū)域，并利用損失函數(shù)提高候選目標(biāo)區(qū)域的精度，從而實(shí)現(xiàn)單目標(biāo)跟蹤。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述柔性卷積網(wǎng)絡(luò)模型包括共享層和域特定層，其中，所述共享層包括3個(gè)卷積層conv1-3和2個(gè)全連接層fc4-5，每個(gè)全連接層有512個(gè)輸出單元，每?jī)蓚€(gè)相鄰卷積層之間和兩個(gè)全連接層之間分別有relu和pooling層；

所述特定域?qū)訛槿嵝跃矸e網(wǎng)絡(luò)模型中全連接層fc6¹-fc6^K，所述全連接層fc6¹-fc6^K對(duì)應(yīng)有K個(gè)域，每個(gè)域都包含一個(gè)具有softmax交叉熵函數(shù)的二值分類層，負(fù)責(zé)區(qū)分每個(gè)域中的目標(biāo)和背景。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述softmax交叉熵函數(shù)公式如下：

其中，i₁為輸入，j₁為輸入的個(gè)數(shù)，e取2.7。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述共享層通過(guò)卷積操作獲取目標(biāo)的共享特征，包括：

采用柔性卷積操作，在輸入特征映射x上使用規(guī)則網(wǎng)格R進(jìn)行采樣，增加位置偏移ΔP_n({ΔP_n＝|1,...,N},N＝|R|)，對(duì)每一個(gè)位置P₀在規(guī)則網(wǎng)格R中的所有位的特征點(diǎn)與卷積核對(duì)應(yīng)的位進(jìn)行加權(quán)求和，得到新特征圖上對(duì)應(yīng)的P₀點(diǎn)，由于在原來(lái)規(guī)則網(wǎng)格R偏移量的基礎(chǔ)上又加入了一個(gè)在x軸和y軸上的二維偏移值ΔP_n，該偏移值ΔP_n是一個(gè)浮點(diǎn)值，通過(guò)計(jì)算周圍4個(gè)真實(shí)值的雙線性插值得到；

柔性卷積操作后得到一個(gè)長(zhǎng)寬與原特征圖相同，通道數(shù)為2N的新特征圖，新特征圖上的每一個(gè)特征點(diǎn)P₀有2N個(gè)值，2即對(duì)應(yīng)的x軸、y軸的偏移量，N即對(duì)應(yīng)的N個(gè)ΔP_n的值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述進(jìn)行柔性RoI池化選擇候選目標(biāo)區(qū)域包括：

柔性RoI池化層對(duì)w×h的RoI分割成一個(gè)k×k的bin，并輸出一個(gè)k×k的特征圖y，對(duì)于第(i₀,j₀)個(gè)存儲(chǔ)單元，0≤i₀,j₀＜k，i₀為候選目標(biāo)區(qū)域中的第i₀行，j₀為候選目標(biāo)區(qū)域的第j₀列，

其中，x為輸入，P為規(guī)則網(wǎng)絡(luò)中的每一個(gè)位置，是bin中的像素?cái)?shù)，進(jìn)行柔性RoI池化后輸出為

其中，為偏移量且

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S2中的損失函數(shù)為：

其中，表示第i個(gè)區(qū)域預(yù)測(cè)為正例的概率，y_i表示第i個(gè)區(qū)域的真實(shí)標(biāo)簽，網(wǎng)絡(luò)的輸出是正負(fù)樣本的概率得分，其中設(shè)置一個(gè)閾值，若大于這個(gè)閾值就是正樣本，反之，就是負(fù)樣本。