[發(fā)明專利]一種基于多層次監(jiān)督網(wǎng)絡(luò)的行人重識別方法

有效

• 申請?zhí)枺?/td>: 201811299473.0
• 申請日: 2018-10-31
• 公開（公告）號: CN109508663B
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 張君鵬;申瑞民;姜飛
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于多層次監(jiān)督網(wǎng)絡(luò)的行人重識別方法，該方法通過一多層次監(jiān)督網(wǎng)絡(luò)對行人圖像提取不同語義層次的特征，進(jìn)而實(shí)現(xiàn)行人重識別；所述多層次監(jiān)督網(wǎng)絡(luò)包括一個(gè)多層深度卷積神經(jīng)網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)和多個(gè)分類模塊作為特征提取子網(wǎng)絡(luò)；主干網(wǎng)絡(luò)將行人圖像轉(zhuǎn)換為不同語義層次的特征圖，各分類模塊通過監(jiān)督學(xué)習(xí)將主干網(wǎng)絡(luò)提取的各層特征圖分別轉(zhuǎn)化為具有區(qū)分性的特征向量，所有層次上的特征向量拼接形為最終特征向量，基于該最終特征向量實(shí)現(xiàn)行人重識別。與現(xiàn)有技術(shù)相比，本發(fā)明提取行人圖像不同語義層次的特征，提高了特征的區(qū)分性，并利用半分離式的監(jiān)督學(xué)習(xí)方式提高了訓(xùn)練過程的穩(wěn)定性，提升了網(wǎng)絡(luò)準(zhǔn)確率性能，具有重識別準(zhǔn)確率高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種行人重識別方法，尤其是涉及一種基于多層次監(jiān)督網(wǎng)絡(luò)的行人重識別方法。

背景技術(shù)

視頻中的行人重識別是計(jì)算機(jī)視覺和人工智能領(lǐng)域的一項(xiàng)重要研究課題。其任務(wù)目標(biāo)可以簡要概述為：給定一張(或多張)待查尋行人的圖像(query image),需要在已有監(jiān)控視頻圖像集合(gallery images)中搜索出該行人的所有圖像。行人重識別在智能安防、城市安全等領(lǐng)域具有重大的現(xiàn)實(shí)意義與價(jià)值，是近年來研究的一大熱點(diǎn)。

然而，在現(xiàn)實(shí)場景中，由于攝像機(jī)拍攝角度、拍攝距離、所處光照環(huán)境等各不相同，同一行人在不同視頻中存在顯著的視覺差異。除此之外，人體運(yùn)動所產(chǎn)生的姿態(tài)變化、遮擋等現(xiàn)象進(jìn)一步提高了這一任務(wù)的難度。于是，如何在這些因素的影響下對行人圖象提取具有高度分辨性的特征并用于識別是這一技術(shù)領(lǐng)域的難題。

現(xiàn)有行人重識別技術(shù)通常可分為3個(gè)步驟。首先，準(zhǔn)備大量帶有身份標(biāo)簽的行人圖像樣本，作為訓(xùn)練集數(shù)據(jù)庫。之后，利用訓(xùn)練集數(shù)據(jù)訓(xùn)練特定結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練方式通常決定了該行人重識別系統(tǒng)的準(zhǔn)確率性能，是最重要的一步。最后，利用訓(xùn)練好的卷積網(wǎng)絡(luò)對檢索庫圖像提取特征。需要對行人進(jìn)行重識別時(shí)，只需利用訓(xùn)練好的卷積網(wǎng)絡(luò)對待查詢行人圖像(query image)提取特征，將得到的特征向量和檢索庫圖像的特征向量逐一比對余弦相似度或歐式距離并進(jìn)行排序。最為相似的若干庫圖像即為行人重識別系統(tǒng)的輸出結(jié)果。

在以上技術(shù)框架下，現(xiàn)有技術(shù)方案主要聚焦于深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)與訓(xùn)練方式設(shè)計(jì)。這類技術(shù)大體可分為兩類(1)基于區(qū)域特征的行人重識別。(2)基于度量學(xué)習(xí)的行人重識別。

基于區(qū)域特征的行人重識別方案通常根據(jù)空間位置將圖像劃分為多個(gè)水平區(qū)域或網(wǎng)格區(qū)域。區(qū)域劃分完畢后，分別對每一個(gè)區(qū)塊使用深度卷積神經(jīng)網(wǎng)絡(luò)提取特征。特征提取的過程可以概括為：將原始圖像(或區(qū)塊)送入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過多個(gè)卷積層、批歸一化層、非線性激活層等網(wǎng)絡(luò)單元得到含有高層次語義特征的特征圖。之后，將得到的特征圖進(jìn)行全局平均池化，作為代表這一圖像區(qū)塊的特征向量。最后，將所有區(qū)塊的特征向量進(jìn)行融合或合并，得到代表這一行人的特征向量。例如，文獻(xiàn)“Glad:global-local-alignmentdescriptor for pedestrian retrieval”(Wei L,Zhang S,Yao H,et al.Proceedings ofthe 2017ACM on Multimedia Conference.ACM,2017:420-428)根據(jù)人體關(guān)鍵點(diǎn)將人體劃分為頭部、上半身、下半身三個(gè)區(qū)域，并分別對這三個(gè)區(qū)域提取特征。文獻(xiàn)“Beyond PartModels:Person Retrieval with Refined Part Pooling”(Sun Y,Zheng L,Yang Y,etal.arXiv preprint arXiv:1711.09349,2017)將行人圖像水平均分為6個(gè)區(qū)塊，并分別對六個(gè)區(qū)域提取特征。

基于度量學(xué)習(xí)的行人重識別方案通常利用精心設(shè)計(jì)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，常見的度量學(xué)習(xí)損失函數(shù)有對照損失函數(shù)、三元組損失函數(shù)、大間距softmax損失函數(shù)等。

上述現(xiàn)有技術(shù)還存在以下缺點(diǎn)：

1、在提取特征的過程中，這類方法只采用了深度卷積網(wǎng)絡(luò)最后一層的特征，對網(wǎng)絡(luò)的利用率不高。