[發(fā)明專利]基于Siamese網(wǎng)絡結(jié)構(gòu)融合中層特征的行人重識別方法

在審

• 申請?zhí)枺?/td>: 202010546270.8
• 申請日: 2020-06-16
• 公開（公告）號: CN111931802A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設計）人: 張小瑞;陳旋;孫偉;宋愛國
• 申請（專利權(quán)）人: 南京信息工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F16/583
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種基于Siamese網(wǎng)絡融合中層特征的行人重識別方法，包括以下步驟：(1)預訓練DenseNet121網(wǎng)絡；(2)調(diào)整DenseNet121網(wǎng)絡結(jié)構(gòu)，搭建Siamese網(wǎng)絡；(3)預處理訓練集，利用隨機擦除增強數(shù)據(jù)；(4)用預處理的訓練集訓練Siamese網(wǎng)絡；(5)使用訓練好的Siamese網(wǎng)絡模型，得到待查詢與圖像庫圖像特征；(6)用余弦距離計算待查詢與圖像庫行人圖像的相似度，將圖像庫行人圖像按照相似度大小排列。本發(fā)明利用調(diào)整后的DenseNet121搭建Siamese網(wǎng)絡，提高了行人圖像特征的區(qū)分程度和辨識度，同時利用隨機擦除增加行人被遮擋的情形，提高行人重識別模型的泛化能力，適合復雜場景下跨攝像頭的行人重識別。

技術(shù)領域

本發(fā)明涉及行人重識別方法，尤其涉及一種基于Siamese網(wǎng)絡結(jié)構(gòu)融合中層特征的行人重識別方法。

背景技術(shù)

行人重識別是指在跨攝像頭的環(huán)境中，判斷是否存在給定行人圖像。該技術(shù)在智能視頻監(jiān)控、維護社會治安等方面發(fā)揮著重要的作用。然而行人重識別存在著較大的挑戰(zhàn)：當姿勢以及光照、背景等環(huán)境因素變化時，同一行人的外觀在不同的監(jiān)控視頻下存在明顯的差異，而不同行人的外觀在某種情況下會比較相似。

近年來，深度學習的方法被廣泛應用，相比于傳統(tǒng)手工設計方法，深度學習能夠取得更好的性能。在跨攝像頭下檢索給定的行人圖像，深度行人重識別模型通常選用ResNet50作為基礎網(wǎng)絡在有限的數(shù)據(jù)集上進行優(yōu)化，產(chǎn)生巨大的參數(shù)量，增加了過擬合的風險，降低泛化能力。同時針對跨攝像頭行人出現(xiàn)的模態(tài)差異，一些基于GAN網(wǎng)絡和利用注意力機制的方法被用來關(guān)注模態(tài)之間突出的特征，但這些方法模型復雜，訓練不穩(wěn)定。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種抗過擬合性能好、魯棒性高的基于Siamese網(wǎng)絡結(jié)構(gòu)融合中層特征的行人重識別方法。

技術(shù)方案：本發(fā)明所述的行人重識別方法，包括以下步驟：

(1)預訓練DenseNet121網(wǎng)絡；

(2)調(diào)整DenseNet121網(wǎng)絡結(jié)構(gòu)，搭建Siamese網(wǎng)絡；

(3)預處理訓練集，利用隨機擦除增強數(shù)據(jù)；

(4)用預處理的訓練集訓練Siamese網(wǎng)絡；

(5)使用訓練好的Siamese網(wǎng)絡模型，得到待查詢與圖像庫圖像特征；

(6)用余弦距離計算查詢與圖像庫圖像的相似度，將圖像庫圖像按相似度大小排列。

步驟(1)中，將ImageNet數(shù)據(jù)集作為訓練數(shù)據(jù)集，訓練一個DenseNet121網(wǎng)絡，使DenseNet121網(wǎng)絡具有初始值。

步驟(2)中，在DenseNet121中間層與最后一層后添加SElayer，得到的中級特征和高級特征，將它們相融合，在調(diào)整后的DenseNet121后添加兩個全連接層，構(gòu)建ID分類網(wǎng)絡，將兩個ID分類網(wǎng)絡做并行連接，并行網(wǎng)絡間加入一個對比層和一個全連接層構(gòu)建驗證網(wǎng)絡，搭建一個完善的Siamese網(wǎng)絡。

步驟(3)中，采用隨機擦除的數(shù)據(jù)增廣方法對圖像進行隨機的遮攔，以增強模型學習能力。

步驟(4)中，采用ID損失和驗證損失聯(lián)合的損失L優(yōu)化Siamese網(wǎng)絡。

步驟(5)中，得到待查詢圖像特征feature₁與圖像庫圖像特征feature₂。

步驟(6)中，余弦距離d計算公式為：

式中，feature₁為待查詢圖像特征，feature₂為圖像庫圖像特征。