[發(fā)明專利]一種基于期望最大化的行人重識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010567949.5
• 申請(qǐng)日: 2020-06-19
• 公開(kāi)（公告）號(hào): CN111738143B
• 公開(kāi)（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 周非;陳文峰
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 楊柳岸

本發(fā)明涉及一種基于期望最大化的行人重識(shí)別方法，屬于計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域。首先利用殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet50作為特征提取的骨干網(wǎng)絡(luò)對(duì)輸入行人進(jìn)行中間特征的提取；構(gòu)建注意力模塊，特征經(jīng)過(guò)模塊中Non?Local操作中的協(xié)方差運(yùn)算捕獲不同區(qū)域間的關(guān)聯(lián)信息，再采用EM算法對(duì)特征進(jìn)行注意力稀疏重構(gòu)，在對(duì)特征中潛在變量進(jìn)行挖掘的過(guò)程中來(lái)減小特征的冗余程度，增強(qiáng)有效特征信息的表征能力；采用三元組損失函數(shù)、交叉熵?fù)p失函數(shù)和中心損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。本發(fā)明能夠捕獲具有較強(qiáng)辨識(shí)度的特征；并能夠很好地減少特征的冗余程度，得到具有低秩特征的注意力特征圖，進(jìn)一步提高識(shí)別率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，涉及一種基于期望最大化的行人重識(shí)別方法。

背景技術(shù)

行人重識(shí)別(Person Re-Identification，Re-ID)也被稱為跨境追蹤，是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容之一，在視頻監(jiān)控、智能安防、行人身份驗(yàn)證、人機(jī)交互等領(lǐng)域扮演著至關(guān)重要的角色。行人重識(shí)別的目的是在非重疊多攝像頭拍攝的不同視角、時(shí)間和地點(diǎn)的場(chǎng)景中，給定一張查詢的行人圖像，從大規(guī)模行人圖庫(kù)中檢索出同一身份的行人圖像。與人臉識(shí)別相比，行人重識(shí)別場(chǎng)景更接近現(xiàn)實(shí)環(huán)境，但也更容易受到光照變化、行人姿勢(shì)改變、背景切換、拍攝角度不一等影響，給行人重識(shí)別帶來(lái)了巨大的挑戰(zhàn)。

目前行人重識(shí)別的研究主要分為兩種思路：基于特征表示學(xué)習(xí)的方法和基于度量學(xué)習(xí)的方法。基于特征表示學(xué)習(xí)的方法是將行人重識(shí)別視為分類問(wèn)題，即將每個(gè)相同ID的行人歸為一類。因此，此類方法的主要任務(wù)就是從每個(gè)ID行人圖像中學(xué)習(xí)出更加具有辨識(shí)度的特征，減小分類的難度。基于度量學(xué)習(xí)的方法通過(guò)將高維的行人圖像映射到低維的特征空間來(lái)度量模型嵌入特征之間的語(yǔ)義相似性，使得特征之間的類內(nèi)距離減小，類間距離增大。傳統(tǒng)特征表示學(xué)習(xí)方法是通過(guò)手工設(shè)計(jì)特征描述子來(lái)描述特征，而近幾年得益于深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)提取的特征相比手工特征具有更高的辨識(shí)能力。但是神經(jīng)網(wǎng)絡(luò)對(duì)于通過(guò)層次結(jié)構(gòu)自動(dòng)學(xué)習(xí)得到的特征是等同對(duì)待的，事實(shí)上不同特征對(duì)于行人重識(shí)別任務(wù)的作用是不同的，而且如特征區(qū)域間相關(guān)聯(lián)系對(duì)特征的表征能力是有增益的，這往往會(huì)被普通的卷積網(wǎng)絡(luò)所忽視。

注意力機(jī)制能促使神經(jīng)網(wǎng)絡(luò)重新分配計(jì)算資源，將計(jì)算資源分配給更加重要的任務(wù)。在行人重識(shí)別任務(wù)上，注意力機(jī)制主要聚焦于捕獲對(duì)任務(wù)有意義的信息，增強(qiáng)特征的表征能力，減小背景、遮擋等無(wú)用信息帶來(lái)的干擾。文獻(xiàn)“Hu,Jie等人，Squeeze-and-Excitation Networks[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2017”提出建模特征通道之間的相關(guān)性，篩選出響應(yīng)最大的通道的特征，這為后續(xù)注意力機(jī)制的發(fā)展提供了一定思路?；谧宰⒁饬Φ姆椒ㄔ谟?jì)算機(jī)視覺(jué)任務(wù)上也逐漸得到了許多應(yīng)用。自注意力機(jī)制通過(guò)關(guān)注特征圖所有位置并在嵌入空間中取其加權(quán)平均值來(lái)表示圖片中某位置處的響應(yīng)。例如，文獻(xiàn)“Xiaolong Wang等人，Non-local neuralnetworks.In CVPR,pages 7794–7803,2018”提出Non-Local思想，計(jì)算各像素間的相似度，從而能很好的捕獲行人各像素之間的關(guān)聯(lián)，這種關(guān)聯(lián)信息對(duì)行人重識(shí)別任務(wù)是有增益的，這也是以往的方法所忽視的地方，但是此類方法中涉及圖像中每個(gè)像素與其他像素之間相關(guān)性的計(jì)算，會(huì)造成模型參數(shù)量劇增，同時(shí)使得特征存在很大冗余。

綜上所述，目前在行人重識(shí)別技術(shù)領(lǐng)域存在的問(wèn)題是：1)行人重識(shí)別中，數(shù)據(jù)集圖像分辨率低，提取的特征表征力不夠，導(dǎo)致重識(shí)別精度低；2)行人重識(shí)別中，提取的特征是高維的，分類邊界過(guò)于復(fù)雜；3)行人重識(shí)別中，經(jīng)過(guò)自注意力建模的網(wǎng)絡(luò)雖然能帶來(lái)區(qū)域關(guān)聯(lián)信息的增加，卻也增加了其他特征的冗余程度。

發(fā)明內(nèi)容