[發(fā)明專利]行人重識別系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201910049231.4
• 申請日: 2019-01-18
• 公開（公告）號: CN109800710B
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計）人: 滕竹;李芮;張寶鵬;田佳杰;李妍
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 鄒芳德

本發(fā)明提供一種行人重識別系統(tǒng)及方法，屬于行人重識別技術(shù)領(lǐng)域。該系統(tǒng)通過基于稀疏編碼的深度學(xué)習(xí)網(wǎng)絡(luò)對不同的原始圖像進(jìn)行圖像重構(gòu)，得到對應(yīng)的重構(gòu)矩陣；結(jié)合注意力機(jī)制提取各重構(gòu)矩陣中的特征向量；計算所述特征向量的分類損失結(jié)果和驗證損失結(jié)果；根據(jù)所述分類損失結(jié)果和所述驗證損失結(jié)果判斷特征提取模塊是否收斂，若收斂，則計算不同重構(gòu)矩陣的特征向量之間的差異度，若差異度大于設(shè)定的閾值，則不屬于同一行人，若差異度小于設(shè)定的閾值，則屬于同一行人。本發(fā)明使用重構(gòu)子網(wǎng)絡(luò)對圖像進(jìn)行重構(gòu)以提高圖像清晰度，使用多任務(wù)損失函數(shù)拉近相同個體之間的距離，從而提高了網(wǎng)絡(luò)的特征表示能力和判別能力，提高行人重識別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及行人重識別技術(shù)領(lǐng)域，具體涉及一種基于圖像重構(gòu)、注意力機(jī)制和多任務(wù)損失函數(shù)的行人重識別系統(tǒng)及方法。

背景技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在越來越多的場景中，而行人重識別作為計算機(jī)視覺領(lǐng)域一個熱門的研究方向，也越來越受到重視。目前，行人重識別的研究主要基于表征學(xué)習(xí)和度量學(xué)習(xí)兩種方式。因為神經(jīng)網(wǎng)絡(luò)可以從原始的圖像數(shù)據(jù)中根據(jù)任務(wù)需求自動提取出表征特征，所有很多學(xué)者將行人重識別問題看作一個分類問題或者驗證問題，使用單支網(wǎng)絡(luò)或者孿生網(wǎng)絡(luò)提取行人特征。雖然表征學(xué)習(xí)的方法比較魯棒，訓(xùn)練比較穩(wěn)定，結(jié)果也較容易復(fù)現(xiàn)，但是由于圖像之間可能存在不同光線、不同角度、遮擋問題，導(dǎo)致模型準(zhǔn)確度不高，并且當(dāng)訓(xùn)練ID增加到一定程度的時候會顯得比較乏力。不同于表征學(xué)習(xí)，度量方法旨在通過網(wǎng)絡(luò)學(xué)習(xí)出兩張圖片的相似度，具體表現(xiàn)為同一行人的不同圖片相似度大于不同行人的不同圖片。最后網(wǎng)絡(luò)的損失函數(shù)使得相同行人圖片(正樣本對)的距離盡可能小，不同行人圖片(負(fù)樣本對)的距離盡可能大。目前常用的度量學(xué)習(xí)損失方法有對比損失、三元組損失、四元組損失等。

如何在充分利用數(shù)據(jù)集有效信息的條件下提高網(wǎng)絡(luò)的特征表示和判別能力是行人重識別的目的。因此，在圖像像素低，背景混亂，光線不同，視角不同，存在遮擋等問題下，找出個體之間的相同點和差異，并找到合適的度量方式判斷兩張圖像特征是否屬于同一個體是我們需要解決的主要問題。

目前現(xiàn)有技術(shù)中的孿生網(wǎng)絡(luò)達(dá)到了不錯的效果，如圖1所示，將兩張圖像分別輸入到兩個完全相同、參數(shù)共享的子網(wǎng)絡(luò)(非線性特征求解函數(shù))中，得到兩張圖像所對應(yīng)的特征表示，用于預(yù)測兩張輸入圖像的身份ID，同時預(yù)測驗證任務(wù)的結(jié)果(是否屬于同一個ID)。實驗表明在孿生網(wǎng)絡(luò)中同時使用分類任務(wù)和驗證任務(wù)要比使用單一任務(wù)效果好。

但是，上述實現(xiàn)方案仍存在以下幾個方面的缺陷：由于網(wǎng)絡(luò)中提取的是全局特征，并沒有側(cè)重于貢獻(xiàn)度大的特征，使用神經(jīng)網(wǎng)絡(luò)提取的圖像特征貢獻(xiàn)度相同，沒有進(jìn)行相應(yīng)的強(qiáng)化與弱化，準(zhǔn)確率低；同時分類任務(wù)和驗證任務(wù)的損失函數(shù)使用的是交叉熵?fù)p失，無法評估特征之間的距離，導(dǎo)致重識別準(zhǔn)確率較低；攝像頭所獲取的圖像像素低，行人輪廓不清晰，直接提取原始圖片的特征易導(dǎo)致分類錯誤。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種將低像素圖像進(jìn)行重構(gòu)后輸入到加入注意力模型的孿生網(wǎng)絡(luò)中，并使用新的多任務(wù)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，從而提高行人重識別的準(zhǔn)確率的圖像重識別系統(tǒng)和方法，以解決上述背景技術(shù)中存在的技術(shù)問題。

為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案：

一方面，本發(fā)明提供一種行人重識別系統(tǒng)，該系統(tǒng)包括：

圖像重構(gòu)模塊，用于通過基于稀疏編碼的深度學(xué)習(xí)網(wǎng)絡(luò)對不同的原始圖像進(jìn)行圖像重構(gòu)，得到對應(yīng)的重構(gòu)矩陣；

特征提取模塊，用于結(jié)合注意力機(jī)制神經(jīng)網(wǎng)絡(luò)提取不同的重構(gòu)矩陣中對應(yīng)的特征向量；

損失計算模塊，用于計算各個重構(gòu)矩陣中對應(yīng)的所述特征向量的分類損失結(jié)果和驗證損失結(jié)果，根據(jù)所述分類損失結(jié)果和所述驗證損失結(jié)果判斷特征提取模塊是否收斂，若收斂，則將各個重構(gòu)矩陣中對應(yīng)的所述特征向量發(fā)送至判斷模塊；否則，根據(jù)所述分類損失結(jié)果和所述驗證損失結(jié)果梯度反向傳播更新注意力機(jī)制神經(jīng)網(wǎng)絡(luò)參數(shù)，直至收斂；