[發(fā)明專利]基于殘差注意機(jī)制時(shí)空聯(lián)合模型的行人重識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911417821.4
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111160297B
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 邵振峰;汪家明
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/82;G06N3/04
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 嚴(yán)彥

本發(fā)明提供一種基于殘差注意機(jī)制時(shí)空聯(lián)合模型的行人重識(shí)別方法及系統(tǒng)，包括通過(guò)預(yù)訓(xùn)練的ResNet?50模型對(duì)輸入行人進(jìn)行特征提取；構(gòu)建一個(gè)殘差注意機(jī)制網(wǎng)絡(luò)，包括殘差注意機(jī)制模塊、特征采樣層、全局池化層和局部特征連接層；根據(jù)訓(xùn)練好的殘差注意機(jī)制網(wǎng)絡(luò)，使用余弦距離來(lái)計(jì)算特征距離并記為視覺(jué)概率；根據(jù)訓(xùn)練樣本行人標(biāo)簽中的攝像頭ID和幀號(hào)信息時(shí)空概率建模，并對(duì)概率模型進(jìn)行拉普拉斯平滑處理。利用視覺(jué)概率和時(shí)空概率，最終的聯(lián)合時(shí)空概率，得到行人重識(shí)別結(jié)果。本發(fā)明克服了現(xiàn)有方法忽視攝像頭網(wǎng)絡(luò)中的時(shí)間和空間先驗(yàn)信息這一問(wèn)題，用注意殘差機(jī)制網(wǎng)絡(luò)優(yōu)化網(wǎng)絡(luò)迭代，加速收斂，并通過(guò)優(yōu)化的貝葉斯聯(lián)合概率求解，從而使得行人重識(shí)別的精度更高。

技術(shù)領(lǐng)域

本發(fā)明屬于行人重識(shí)別技術(shù)領(lǐng)域，涉及一種基于殘差注意機(jī)制時(shí)空聯(lián)合模型的行人重識(shí)別方法及裝置。

背景技術(shù)

監(jiān)控視頻由于相機(jī)分辨率和拍攝角度的緣故，通常無(wú)法得到質(zhì)量非常高的人臉圖片，且行人常呈現(xiàn)多尺度特性，檢測(cè)和識(shí)別難度較大，此時(shí)行人重識(shí)別成為一個(gè)非常重要的替代技術(shù)。行人重識(shí)別是通過(guò)給定監(jiān)控行人圖像實(shí)現(xiàn)跨設(shè)備檢索該，能有效彌補(bǔ)固定視角攝像頭的視覺(jué)限制，在視頻監(jiān)控、智能安防和智慧城市等領(lǐng)域中有著重要的應(yīng)用價(jià)值。

近年來(lái)，隨著機(jī)器學(xué)習(xí)理論的發(fā)展，基于深度學(xué)習(xí)的方法被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)任務(wù)，并且獲得了相較于傳統(tǒng)手工設(shè)計(jì)方法更好的性能。然而，大多數(shù)現(xiàn)存的解決行人重識(shí)別問(wèn)題的方法只利用了標(biāo)簽中的行人身份信息，而忽略了較易采集的攝像頭ID信息、圖像的時(shí)間序列以及圖像處在視頻中的幀號(hào)等時(shí)空信息。

基于視覺(jué)和時(shí)空概率模型的深度學(xué)習(xí)行人重識(shí)別方法，是通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)視覺(jué)概率，并通過(guò)貝葉斯聯(lián)合概率模型來(lái)融合先驗(yàn)信息中蘊(yùn)含的時(shí)空概率信息和視覺(jué)概率。Huang等人提出基于攝像機(jī)網(wǎng)絡(luò)的行人重識(shí)別(Paired Cameras based Person Re-identification，PCPR)，提出了一種兼顧視覺(jué)差異和時(shí)空約束的概率方法；Lv等人提出了一種多模態(tài)的基于貝葉斯融合網(wǎng)絡(luò)的無(wú)監(jiān)督行人重識(shí)別模型，來(lái)融合視覺(jué)分類結(jié)果和時(shí)空概率；Wang在此基礎(chǔ)上，將時(shí)空融合模型框架擴(kuò)展到監(jiān)督模型，并進(jìn)行一系列優(yōu)化，較傳統(tǒng)基于視覺(jué)特征的深度學(xué)習(xí)行人重識(shí)別方法有較大的提升。

針對(duì)這些問(wèn)題，本發(fā)明提供一種基于深度學(xué)習(xí)的行人重識(shí)別方法，利用殘差注意機(jī)制時(shí)空聯(lián)合模型學(xué)習(xí)圖像的視覺(jué)相似度，通過(guò)對(duì)時(shí)空信息建模，獲取時(shí)空相似度，并通過(guò)優(yōu)化貝葉斯聯(lián)合模型求聯(lián)合概率，得到行人重識(shí)別結(jié)果。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有行人重識(shí)別技術(shù)存在的不足，本發(fā)明的目的是提供一種新的殘差注意機(jī)制時(shí)空聯(lián)合模型，實(shí)現(xiàn)一種基于地圖數(shù)據(jù)與貝葉斯時(shí)空聯(lián)合模型的行人重識(shí)別方法。

本發(fā)明技術(shù)方案提供一種基于殘差注意機(jī)制時(shí)空聯(lián)合模型的行人重識(shí)別方法，包括以下步驟，

步驟a，通過(guò)預(yù)訓(xùn)練得到的ResNet-50模型對(duì)輸入行人x進(jìn)行特征提取，特征矩陣表示為f；

步驟b，構(gòu)建一個(gè)殘差注意機(jī)制網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)包括殘差注意機(jī)制模塊、特征采樣層、全局池化層和局部特征連接層；

步驟c，設(shè)步驟a得到維度為H×W×C的特征矩陣f，以特征矩陣f作為殘差注意機(jī)制網(wǎng)絡(luò)的輸入，以對(duì)應(yīng)的身份信息y作為目標(biāo)輸出；其中H,W,C分別表示特征圖的長(zhǎng)、寬和通道數(shù)；

根據(jù)殘差注意機(jī)制模塊，對(duì)特征矩陣f每個(gè)空間位置進(jìn)行通道求平均，作為空間權(quán)重矩陣；通過(guò)softmax對(duì)空間權(quán)重矩陣進(jìn)行激活，來(lái)保障卷積核學(xué)習(xí)到不同的特征，計(jì)算注意機(jī)制圖M_SA，由F_RSA＝f*M_SA+f得到維度為H×W×C的特征矩陣F_RSA；

步驟d，通過(guò)特征采樣層，將維度為H×W×C的特征矩陣F_RSA采樣為維度的局部特征矩陣通過(guò)全局池化層計(jì)算局部特征向量