[發(fā)明專利]一種基于智慧路燈伴侶的目標(biāo)接力跟蹤算法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710211070.5
• 申請(qǐng)日: 2017-04-01
• 公開（公告）號(hào): CN106991396B
• 公開（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 劉鵬;張真;秦恩泉;曹騮;吳彩云
• 申請(qǐng)（專利權(quán)）人: 南京云創(chuàng)大數(shù)據(jù)科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 彭雄

本發(fā)明公開了一種基于智慧路燈伴侶的目標(biāo)接力跟蹤算法，本發(fā)明利用一種深度網(wǎng)絡(luò)模型檢測(cè)出目標(biāo)，其次利用另一種深度模型提取其特征，對(duì)于某個(gè)智慧路燈伴侶而言，可以抓拍到某物體的多個(gè)視角圖像，保存每個(gè)視角所提取的特征。系統(tǒng)每隔一段時(shí)間進(jìn)行目標(biāo)檢測(cè)，將檢測(cè)結(jié)果與跟蹤結(jié)果進(jìn)行融合。當(dāng)物體移出當(dāng)前智慧路燈伴侶視野并進(jìn)入到下一智慧路燈伴侶視野時(shí)，下一個(gè)智慧路燈伴侶同樣進(jìn)行目標(biāo)檢測(cè)并提取特征，將提取出特征與上一智慧路燈伴侶保存的特征比對(duì)，由此可以判斷是否是同一物體，實(shí)現(xiàn)目標(biāo)的接力跟蹤。

技術(shù)領(lǐng)域

本發(fā)明涉及一種智慧路燈伴侶的目標(biāo)接力跟蹤算法，屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域。

背景技術(shù)

視頻監(jiān)控是維護(hù)公共安全的重要手段之一，目標(biāo)跟蹤是處理視頻的一種基礎(chǔ)研究課題。在復(fù)雜環(huán)境下，傳統(tǒng)跟蹤算法所面臨的問(wèn)題是：1、用單攝像頭進(jìn)行跟蹤，視野受到局限。2、相似目標(biāo)對(duì)跟蹤過(guò)程造成一定干擾。3、目標(biāo)在運(yùn)動(dòng)過(guò)程中發(fā)生多次遮擋或形變。4、圖像分辨率低或畫質(zhì)低下影響后續(xù)處理。多攝像頭能在一個(gè)廣闊的區(qū)域上跟蹤目標(biāo)，得到的目標(biāo)軌跡更完整，也更具實(shí)際應(yīng)用意義；但同時(shí)也帶來(lái)一些新的問(wèn)題，如數(shù)據(jù)融合，目標(biāo)匹配等，這些都是目前所研究的重點(diǎn)、難點(diǎn)問(wèn)題，然而這并不妨礙多攝像頭系統(tǒng)逐漸成為監(jiān)控跟蹤領(lǐng)域的主流趨勢(shì)。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于智慧路燈伴侶的目標(biāo)接力跟蹤算法，它利用智慧路燈伴侶上的四個(gè)攝像頭，多角度抓拍圖像，獲取更廣闊的視野和更完整的目標(biāo)軌跡。智慧路燈伴侶每隔一段相等距離部署于道路兩旁，當(dāng)物體運(yùn)動(dòng)經(jīng)過(guò)時(shí)，后臺(tái)服務(wù)器先利用一種深度網(wǎng)絡(luò)模型檢測(cè)出目標(biāo)，其次再利用另一種深度模型提取特征。每個(gè)智慧路燈能抓拍到某物體的多個(gè)視角圖像，保存每個(gè)視角所提取的特征，并利用這些特征進(jìn)行目標(biāo)跟蹤及物體邊界確定。此外，系統(tǒng)每隔一段時(shí)間進(jìn)行一次目標(biāo)檢測(cè)，將檢測(cè)結(jié)果與跟蹤結(jié)果進(jìn)行融合，修正由持續(xù)跟蹤時(shí)，目標(biāo)產(chǎn)生形變或遮擋所帶來(lái)的邊界誤差。當(dāng)物體移出當(dāng)前路燈視野并進(jìn)入到下一智慧路燈伴侶視野時(shí)，下一個(gè)智慧路燈伴侶同樣進(jìn)行目標(biāo)檢測(cè)并提取特征，將提取出特征與上一路燈保存的特征比對(duì)，判斷是否為同一物體，實(shí)現(xiàn)目標(biāo)的接力跟蹤。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于智慧路燈伴侶的目標(biāo)接力跟蹤算法，包括以下步驟：

步驟1，采用汽車和行人兩類樣本訓(xùn)練一個(gè)能夠檢測(cè)多種目標(biāo)類別的深度神經(jīng)網(wǎng)絡(luò)；

步驟2，通過(guò)攝像頭觀察周圍的環(huán)境，對(duì)攝像頭的攝像視頻通過(guò)步驟1訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)每隔n幀檢測(cè)目標(biāo)并提取其在網(wǎng)絡(luò)中不同層次的卷積特征。

步驟3，利用卷積特征，實(shí)現(xiàn)目標(biāo)在下一幀的精確定位，融合檢測(cè)結(jié)果與跟蹤結(jié)果。

步驟4，對(duì)于任一一個(gè)檢測(cè)到的目標(biāo)，將其高層卷積特征與相鄰路燈保存的特征做比對(duì)，通過(guò)計(jì)算兩者的相似度來(lái)確定是否是同一物體。

優(yōu)選的：步驟1中的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使用汽車和行人兩類樣本訓(xùn)練檢測(cè)模型，然后使用多類別的數(shù)據(jù)集訓(xùn)練特征提取網(wǎng)絡(luò)模型。

優(yōu)選的：步驟2中每隔n幀使用深度神經(jīng)網(wǎng)絡(luò)檢測(cè)行人及車輛兩類目標(biāo)，并提取網(wǎng)絡(luò)的一層以上的卷積特征。設(shè)目標(biāo)在上一幀的坐標(biāo)p_t-1，在當(dāng)前幀t以p_t-1為中心截取出一塊搜索區(qū)域，將搜索區(qū)域圖像送入特征提取網(wǎng)絡(luò)，提取卷積特征，作插值運(yùn)算使特征圖具有相同的分辨率。

優(yōu)選的：所述步驟3中利用卷積特征及目標(biāo)在上一幀的位置，實(shí)現(xiàn)在當(dāng)前幀的精確定位，融合檢測(cè)與跟蹤結(jié)果：

步驟31，為每一層特征圖構(gòu)造相關(guān)濾波器，再將目標(biāo)函數(shù)用快速傅里葉變換轉(zhuǎn)到頻域，得到函數(shù)的最優(yōu)解。

步驟32，將提取出的每一層特征圖按照從后向前的順序，與對(duì)應(yīng)的相關(guān)濾波器作卷積。首先在最后一層的特征圖上作卷積，取最大響應(yīng)值對(duì)應(yīng)的坐標(biāo)作為前一層的初始搜索坐標(biāo)，然后在該層r×r的區(qū)域內(nèi)與相關(guān)濾波器作卷積，以此類推。