[發(fā)明專(zhuān)利]基于局部-全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010800540.3
• 申請(qǐng)日: 2020-08-11
• 公開(kāi)（公告）號(hào): CN111931655B
• 公開(kāi)（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 劉萌;聶禮強(qiáng);曲磊鋼;古鑒;聶秀山;孟令燦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 山東建筑大學(xué)
• 主分類(lèi)號(hào): G06V40/10
• 分類(lèi)號(hào): G06V40/10;G06V10/40;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

本發(fā)明公開(kāi)了基于局部?全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法及系統(tǒng)，對(duì)待識(shí)別視頻數(shù)據(jù)進(jìn)行行人檢測(cè)和軌跡追蹤處理，得到總的行人追蹤片段；為每個(gè)身份類(lèi)別選擇行人追蹤片段，構(gòu)成有標(biāo)記的行人追蹤片段，剩余作為未標(biāo)記的行人追蹤片段；利用有標(biāo)記的行人追蹤片段，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到初始特征提取器；基于初始特征提取器提取未標(biāo)記行人追蹤片段與有標(biāo)記行人追蹤片段的局部?全局特征；基于特征的相似性，對(duì)未標(biāo)記的行人追蹤片段進(jìn)行偽標(biāo)記，得到偽標(biāo)記行人追蹤片段；利用偽標(biāo)記行人追蹤片段對(duì)初始的特征提取器進(jìn)行重新訓(xùn)練，得到重新訓(xùn)練好的特征提取器；返回向量提取步驟，直至所有偽標(biāo)記行人追蹤片段被篩選出用于訓(xùn)練特征提取器。

技術(shù)領(lǐng)域

本申請(qǐng)涉及行人再識(shí)別技術(shù)領(lǐng)域，特別是涉及基于局部-全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提到了與本申請(qǐng)相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

隨著公共監(jiān)控系統(tǒng)的快速發(fā)展和普及，視頻行人再識(shí)別(video person Re-ID)引起了學(xué)術(shù)界的廣泛關(guān)注，其旨在多個(gè)互不重疊的攝像頭中識(shí)別特定人物的視頻。它在智能視頻監(jiān)控和安全方面具有廣泛的應(yīng)用場(chǎng)景，比如：搜索嫌疑人和失蹤人員。鑒于此，許多研究人員致力于研究如何解決視頻行人再識(shí)別，并提出基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別方法。盡管這些方法取得了不錯(cuò)的實(shí)驗(yàn)效果，但大多數(shù)為監(jiān)督學(xué)習(xí)方法。換而言之，它們極度地依賴(lài)來(lái)自多個(gè)攝像頭的大量標(biāo)記數(shù)據(jù)，這是十分耗費(fèi)成本并且在實(shí)際應(yīng)用中難以實(shí)現(xiàn)的。因而，研究無(wú)監(jiān)督的視頻行人再識(shí)別方法是十分必要的。

然而，研究無(wú)監(jiān)督的視頻行人再識(shí)別方法，并非一件易事，具體原因如下：1)標(biāo)簽估計(jì)。無(wú)監(jiān)督和有監(jiān)督學(xué)習(xí)之間主要的區(qū)別在于標(biāo)簽的可用性。如果沒(méi)有標(biāo)簽信息的監(jiān)督指導(dǎo)，模型很難捕獲到強(qiáng)識(shí)別性信息用以區(qū)分外表相似的行人。因此，無(wú)監(jiān)督的視頻行人再識(shí)別方法研究所面臨的一個(gè)固有挑戰(zhàn)是對(duì)大量未標(biāo)記的行人視頻數(shù)據(jù)進(jìn)行身份(identity)標(biāo)簽估計(jì)。盡管最近圖像行人再識(shí)別方法在身份標(biāo)簽估計(jì)方面取得了一些進(jìn)展，但直接將它們應(yīng)用于視頻中并不能得到令人滿(mǎn)意的結(jié)果。主要原因在于，與單張圖像相比，視頻序列包含更豐富的行人信息，比如：姿勢(shì)的變化和多視角的影像，這些信息之間是互補(bǔ)的關(guān)系且對(duì)行人識(shí)別是十分有用的。所以，如何充分利用視頻序列中的信息來(lái)估計(jì)身份標(biāo)簽是一個(gè)關(guān)鍵的研究點(diǎn)。2)特征表示。由于不同攝像機(jī)下同一個(gè)行人的外觀變化較大，而同一個(gè)攝像頭下不同行人間相似性較高，故學(xué)習(xí)判別性的特征表示對(duì)于視頻行人再識(shí)別研究是一個(gè)挑戰(zhàn)。雖然一些有監(jiān)督的視頻行人再識(shí)別模型已經(jīng)被提出并用于判別性行人特征表示學(xué)習(xí)，但對(duì)于無(wú)監(jiān)督的視頻行人再識(shí)別而言，這仍是一個(gè)很大程度上未被解決的問(wèn)題。

圍繞上述挑戰(zhàn)，一些無(wú)監(jiān)督的視頻行人再識(shí)別方法被提出。例如：用于估計(jì)行人身份標(biāo)簽的動(dòng)態(tài)圖匹配方法，同時(shí)考慮標(biāo)簽估計(jì)與特征表示學(xué)習(xí)的迭代式識(shí)別方法，利用未標(biāo)記數(shù)據(jù)逐漸和穩(wěn)步提高卷積神經(jīng)網(wǎng)絡(luò)區(qū)別能力的漸進(jìn)式學(xué)習(xí)框架，以及基于聚類(lèi)的視頻行人再識(shí)別方法。然而，發(fā)明人發(fā)現(xiàn)上述方法均存在一些局限性，具體如下：一方面，為了度量?jī)蓚€(gè)行人視頻間的相似性，上述方法均采用平均池化作為其時(shí)序信息建?？蚣軄?lái)生成行人的表示。但是，簡(jiǎn)單的平均池化只能獲得行人的全局和模糊的表示，這可能會(huì)導(dǎo)致錯(cuò)誤的標(biāo)簽估計(jì)，并且隨著迭代的進(jìn)行，誤差會(huì)不斷的累積。鑒于判別性信息可能隱藏在視頻的不同幀內(nèi)，因而有必要設(shè)計(jì)一個(gè)有效的標(biāo)簽估計(jì)策略以充分利用豐富的視頻信息。另一方面，為了學(xué)習(xí)行人的判別性特征表示，現(xiàn)有的方法通常采用交叉熵?fù)p失作為優(yōu)化函數(shù)。由于交叉熵?fù)p失可能會(huì)迫使網(wǎng)絡(luò)考慮某些與行人身份無(wú)關(guān)的因素(如：背景信息)，以區(qū)分具有相似外觀的不同行人，因此學(xué)習(xí)到的行人表示的辨別能力遠(yuǎn)遠(yuǎn)不能令人滿(mǎn)意。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的不足，本申請(qǐng)?zhí)峁┝嘶诰植?全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法及系統(tǒng)；同時(shí)考慮了標(biāo)簽估計(jì)和判別性行人表示學(xué)習(xí)，能夠?qū)崿F(xiàn)無(wú)監(jiān)督視頻的行人再識(shí)別問(wèn)題。

第一方面，本申請(qǐng)?zhí)峁┝嘶诰植?全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法；

基于局部-全局協(xié)作的無(wú)監(jiān)督視頻行人再識(shí)別方法，包括：