[發(fā)明專利]一種基于深度多索引哈希的行人重識別方法

有效

• 申請?zhí)枺?/td>: 201910166071.1
• 申請日: 2019-03-06
• 公開（公告）號: CN109919084B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 李武軍;李明威;蔣慶遠(yuǎn)
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 南京樂羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 孫承堯

本發(fā)明公開了一種基于深度多索引哈希的行人重識別方法，達(dá)到了非重疊視角域多攝像頭網(wǎng)絡(luò)場景下行人檢索存儲空間低且檢索高效的效果。該方法首先從原始視頻數(shù)據(jù)中構(gòu)造行人圖片訓(xùn)練集，再結(jié)合深度學(xué)習(xí)構(gòu)造端到端的有互反饋的多粒度特征學(xué)習(xí)網(wǎng)絡(luò)，基于訓(xùn)練集對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到哈希函數(shù)和訓(xùn)練集對應(yīng)的哈希編碼，并基于哈希編碼構(gòu)建索引。對于攝像頭新收集的數(shù)據(jù)，使用哈希函數(shù)計算對應(yīng)的哈希編碼，并實時增加到索引中。在線檢索時，對于給定的目標(biāo)行人圖片，首先使用多粒度網(wǎng)絡(luò)模型進(jìn)行特征的提取，使用哈希函數(shù)計算目標(biāo)行人圖片的哈希編碼，然后基于哈希編碼在索引中進(jìn)行近鄰檢索，最后基于實值特征在近鄰范圍內(nèi)進(jìn)行重排序，得到檢索結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度多索引哈希的行人重識別方法，用于實現(xiàn)非重疊視角域多攝像頭網(wǎng)絡(luò)場景下利用低存儲空間的高效行人檢索。

背景技術(shù)

隨著計算機(jī)視覺技術(shù)的發(fā)展，圖像和視頻等相關(guān)的應(yīng)用在國民日常生活中的地位日益突出。此外，圖像處理學(xué)科既是科學(xué)領(lǐng)域中具有挑戰(zhàn)的研究方向，也是工程領(lǐng)域中的重要應(yīng)用技術(shù)。行人重識別是近幾年計算機(jī)視覺領(lǐng)域新興的研究熱點，是指在非重疊視角域多攝像頭網(wǎng)絡(luò)場景下進(jìn)行行人匹配的任務(wù)，即確認(rèn)不同位置的攝像頭在不同的時刻拍攝到的行人目標(biāo)是否為同一行人，屬于在復(fù)雜視頻環(huán)境下的圖像處理和分析范疇，是許多監(jiān)控和安防應(yīng)用中的主要任務(wù)。

由于公共安全需求的增加，以及攝像監(jiān)控網(wǎng)絡(luò)規(guī)模的擴(kuò)大，單純依靠人力勞動力進(jìn)行行人重識別任務(wù)的成本極高，甚至是無法完成的。因此在大規(guī)模行人數(shù)據(jù)中，如何自動準(zhǔn)確地進(jìn)行待查詢行人的匹配備受關(guān)注。

大多數(shù)的行人重識別研究工作主要關(guān)注算法的效果卻很少在意其檢索的效率。在實際的應(yīng)用中，行人圖片數(shù)據(jù)是呈爆炸式增長的，因此設(shè)計一種準(zhǔn)確、高效的行人重識別算法至關(guān)重要。

發(fā)明內(nèi)容

發(fā)明目的：為了解決這個問題，本發(fā)明主要從哈希學(xué)習(xí)的角度出發(fā)，用離散哈希對行人圖片進(jìn)行表示，一方面降低行人圖片的存儲開銷，另一方面通過哈希檢索技術(shù)在海明空間內(nèi)進(jìn)行行人圖片的匹配，大大提高了算法運行的效率。

技術(shù)方案：一種基于深度多索引哈希的行人重識別方法，引入多索引哈希意在解決行人圖片的存儲開銷大以及檢索效率低的問題。同時，通過多粒度深度網(wǎng)絡(luò)學(xué)習(xí)行人圖片的實值特征表示和哈希編碼來提升算法性能。主要包括特征學(xué)習(xí)和多索引哈希檢索兩部分，具體包括以下的步驟：

1)基于行人區(qū)域檢測技術(shù)，從原始視頻數(shù)據(jù)中構(gòu)造行人圖片訓(xùn)練集；

2)基于行人圖片訓(xùn)練集，構(gòu)建并訓(xùn)練多粒度網(wǎng)絡(luò)模型，得到哈希函數(shù)以及訓(xùn)練集圖片對應(yīng)的實值特征和哈希編碼；

3)基于哈希編碼，設(shè)計分塊劃分策略構(gòu)建索引；

4)對于攝像頭新收集的數(shù)據(jù)，使用哈希函數(shù)計算哈希編碼，并實時增加到索引中；使得在線檢索可以返回實時的結(jié)果；

5)對于給定的目標(biāo)行人圖片，使用哈希函數(shù)計算哈希編碼，基于哈希編碼在索引中進(jìn)行檢索，再基于實值特征進(jìn)行重排序。

上述步驟1)的過程為：對于來自監(jiān)控攝像頭的原始視頻數(shù)據(jù)，首先需要進(jìn)行視頻切幀操作，然后對切幀后的圖片數(shù)據(jù)進(jìn)行行人區(qū)域檢測，以生成行人圖片作為訓(xùn)練集。