[發(fā)明專利]在視頻中進(jìn)行目標(biāo)跟蹤的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810276460.5
• 申請(qǐng)日: 2018-03-30
• 公開（公告）號(hào): CN108491816A
• 公開（公告）日: 2018-09-04
• 發(fā)明（設(shè)計(jì)）人: 杜康
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06N3/04;G06K9/62
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請(qǐng)實(shí)施例公開了在視頻中進(jìn)行目標(biāo)跟蹤的方法和裝置。在視頻中進(jìn)行目標(biāo)跟蹤的方法包括基于待跟蹤目標(biāo)在視頻的歷史幀中的位置，從視頻的當(dāng)前幀中截取出候選區(qū)域；將所截取的候選區(qū)域輸入預(yù)先訓(xùn)練的全卷積網(wǎng)絡(luò)，得到特征圖，其中，特征圖包含用于指示候選目標(biāo)在特征圖中所處位置的候選目標(biāo)區(qū)域信息；基于候選目標(biāo)區(qū)域信息，從特征圖中確定出與各候選目標(biāo)一一對(duì)應(yīng)的候選目標(biāo)區(qū)域；以及將確定出的候選目標(biāo)區(qū)域中，與待跟蹤目標(biāo)相似度最高的候選目標(biāo)區(qū)域作為當(dāng)前幀中的待跟蹤目標(biāo)。該實(shí)施方式可以基于待跟蹤目標(biāo)本身的特征，從多個(gè)候選目標(biāo)區(qū)域中確定出當(dāng)前幀中的待跟蹤目標(biāo)，有利于目標(biāo)跟蹤的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及圖像處理領(lǐng)域，具體涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及在視頻中進(jìn)行目標(biāo)跟蹤的方法和裝置。

背景技術(shù)

目標(biāo)跟蹤，是指在連續(xù)的視頻序列中，建立所要跟蹤物體的位置關(guān)系，得到物體完整的運(yùn)動(dòng)軌跡。例如，給定圖像第一幀的目標(biāo)坐標(biāo)位置，計(jì)算在下一幀圖像中目標(biāo)的確切位置。

在運(yùn)動(dòng)過程中，目標(biāo)可能會(huì)呈現(xiàn)一些圖像上的變化，比如姿態(tài)或形狀的變化、尺度的變化、背景遮擋或光線亮度的變化等。目標(biāo)跟蹤算法的研究也圍繞著解決這些變化和具體的應(yīng)用展開。

現(xiàn)有技術(shù)中，已有了多種目標(biāo)跟蹤的算法，例如，粒子濾波(Particle Filter)方法、基于特征點(diǎn)的光流算法、基于相關(guān)濾波的跟蹤算法等等。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了在視頻中進(jìn)行目標(biāo)跟蹤的方法和裝置。

第一方面，本申請(qǐng)實(shí)施例提供了一種在視頻中進(jìn)行目標(biāo)跟蹤的方法，包括：基于待跟蹤目標(biāo)在視頻的歷史幀中的位置，從視頻的當(dāng)前幀中截取出候選區(qū)域；將所截取的候選區(qū)域輸入預(yù)先訓(xùn)練的全卷積網(wǎng)絡(luò)，得到特征圖，其中，特征圖包含用于指示候選目標(biāo)在特征圖中所處位置的候選目標(biāo)區(qū)域信息；基于候選目標(biāo)區(qū)域信息，從特征圖中確定出與各候選目標(biāo)一一對(duì)應(yīng)的候選目標(biāo)區(qū)域；以及將確定出的候選目標(biāo)區(qū)域中，與待跟蹤目標(biāo)相似度最高的候選目標(biāo)區(qū)域作為當(dāng)前幀中的待跟蹤目標(biāo)。

在一些實(shí)施例中，在將所截取的候選區(qū)域輸入預(yù)先訓(xùn)練的全卷積網(wǎng)絡(luò)之前，方法還包括訓(xùn)練全卷積網(wǎng)絡(luò)的步驟，訓(xùn)練全卷積網(wǎng)絡(luò)的步驟包括：建立初始全卷積網(wǎng)絡(luò)；獲取訓(xùn)練樣本集，訓(xùn)練樣本集包括多個(gè)訓(xùn)練樣本對(duì)，訓(xùn)練樣本對(duì)包括同一視頻文件的其中兩幀圖像以及用于標(biāo)注目標(biāo)對(duì)象在兩幀圖像中所處區(qū)域的標(biāo)注信息；將訓(xùn)練樣本集輸入初始全卷積網(wǎng)絡(luò)，基于預(yù)先設(shè)置的損失函數(shù)訓(xùn)練初始全卷積網(wǎng)絡(luò)，得到訓(xùn)練后的全卷積網(wǎng)絡(luò)。

在一些實(shí)施例中，將所確定出的候選目標(biāo)區(qū)域中，與待跟蹤目標(biāo)相似度最高的候選目標(biāo)區(qū)域作為當(dāng)前幀中的待跟蹤目標(biāo)，包括：將從特征圖中截取出的各候選目標(biāo)區(qū)域輸入預(yù)設(shè)的池化層，得到與各候選目標(biāo)區(qū)域相對(duì)應(yīng)的候選特征圖；對(duì)于每一個(gè)候選特征圖，計(jì)算該候選特征圖與預(yù)先獲取的待跟蹤目標(biāo)的特征圖之間的相似度；將與預(yù)先獲取的待跟蹤目標(biāo)的特征圖之間的相似度最高的候選特征圖所對(duì)應(yīng)的候選目標(biāo)區(qū)域作為當(dāng)前幀中的待跟蹤目標(biāo)。

在一些實(shí)施例中，在將與預(yù)先獲取的待跟蹤目標(biāo)的特征圖之間的相似度最高的候選特征圖所對(duì)應(yīng)的候選目標(biāo)區(qū)域作為當(dāng)前幀中的待跟蹤目標(biāo)之后，方法還包括：將與預(yù)先獲取的待跟蹤目標(biāo)的特征圖之間的相似度最高的候選特征圖作為待跟蹤目標(biāo)的特征圖。

在一些實(shí)施例中，方法還包括：以預(yù)設(shè)的時(shí)間間隔在視頻的當(dāng)前幀中檢測(cè)待跟蹤目標(biāo)；以及基于所檢測(cè)的待跟蹤目標(biāo)，更新待跟蹤目標(biāo)的特征圖。

在一些實(shí)施例中，視頻的歷史幀與視頻的當(dāng)前幀為視頻中相鄰的兩幀。