[發(fā)明專利]基于攝像頭風(fēng)格遷移和單標(biāo)注的行人重識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010053330.2
• 申請日: 2020-01-17
• 公開（公告）號: CN111242064A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計）人: 李強;高玲;吳紹君;李楊
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

本發(fā)明公開了基于攝像頭風(fēng)格遷移和單標(biāo)注的行人重識別方法及系統(tǒng)，包括：獲取待進行行人重識別的若干張無標(biāo)簽圖像；對待進行行人重識別的所有無標(biāo)簽圖像中的一張圖像，標(biāo)記待識別的行人；將已標(biāo)記的圖像輸入到預(yù)訓(xùn)練的cycleGAN網(wǎng)絡(luò)，輸出已標(biāo)記的圖像中每一張圖像對應(yīng)的若干個攝像頭風(fēng)格遷移圖像，實現(xiàn)數(shù)據(jù)擴增；對已標(biāo)記的圖像對應(yīng)的攝像頭風(fēng)格遷移圖像的行人進行標(biāo)記；將未標(biāo)記的圖像到預(yù)訓(xùn)練的cycleGAN網(wǎng)絡(luò)，實現(xiàn)數(shù)據(jù)擴增；將已標(biāo)記的圖像、未標(biāo)記的圖像、已標(biāo)記的圖像對應(yīng)的攝像頭風(fēng)格遷移圖像和未標(biāo)記圖像對應(yīng)的攝像頭風(fēng)格遷移圖像均輸入到預(yù)訓(xùn)練的CNN網(wǎng)絡(luò)中，輸出未標(biāo)記圖像中每一張圖像中待識別行人的識別結(jié)果。

技術(shù)領(lǐng)域

本公開涉及行人重識別技術(shù)領(lǐng)域，特別是涉及基于攝像頭風(fēng)格遷移和單標(biāo)注的行人重識別方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提到了與本公開相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

行人重識別(re-ID)是通過利用計算機視覺相關(guān)技術(shù)來尋找圖像庫或者視頻序列中特定行人的技術(shù)，即給定感興趣的行人，從其他多個監(jiān)控攝像頭數(shù)據(jù)或者圖片中對給定行人進行目標(biāo)檢索。

在實現(xiàn)本公開的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中存在以下技術(shù)問題：

在行人重識別的研究中，通常用到的方法是監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出對，也就是特征和帶有標(biāo)簽的目標(biāo)，這個標(biāo)簽是由人工標(biāo)注的，通過數(shù)據(jù)的訓(xùn)練，讓機器找到特征與目標(biāo)標(biāo)簽之間的關(guān)系，輸入一個新的特征時，可以判斷出標(biāo)簽，即從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個模型，然后根據(jù)這個模型得到新數(shù)據(jù)的預(yù)測值。為了得到一個相對較好的識別模型，需要大量的圖片，和對應(yīng)的人工標(biāo)注的標(biāo)簽，而人工標(biāo)注的過程需要耗費大量的人力以及時間。與監(jiān)督學(xué)習(xí)不同，無監(jiān)督學(xué)習(xí)的輸入數(shù)據(jù)沒有標(biāo)注，也沒有確定的結(jié)果，直接學(xué)習(xí)輸入特征之間的內(nèi)在聯(lián)系，雖然這種方法聽上去更加智能，但是因為沒有目標(biāo)的指引，完全的無監(jiān)督學(xué)習(xí)取得的效果并不理想。

現(xiàn)有基于單樣本的研究大都集中于偽標(biāo)簽的選取上。M.Ye,A.J.Ma,L.Zheng,J.Li,and P.C.Yuen,“Dynamic label graph matching for unsupervised video re-identifification,”in Proc.IEEE Int.Conf.Comput.Vis.,Oct.2017,pp.5152–5160.和H.Fan,L.Zheng,C.Yan,and Y.Yang,“Unsupervised person re-identifification:Clustering and fifine-tuning,”ACM Trans.Multimedia Comput.Commun.Appl.,vol.14,no.4,p.83,Oct.2018.采用靜態(tài)策略來確定偽標(biāo)簽的數(shù)量，然后進行下一步的訓(xùn)練。在迭代過程中，這些算法始終固定偽標(biāo)簽訓(xùn)練集的大小。

Wu Y,Lin Y,Dong X,et al.Exploit the Unknown Gradually:One-Shot Video-Based Person Re-identification by Stepwise Learning[C]//2018 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2018.提出了一種漸進式學(xué)習(xí)框架，在有限的樣本中更好的利用了未標(biāo)記數(shù)據(jù)進行行人重識別的訓(xùn)練。這個算法最初在單標(biāo)注樣本的數(shù)據(jù)上訓(xùn)練一個CNN模型，然后為所有的未標(biāo)記的樣本生成一個偽標(biāo)記，根據(jù)預(yù)測置信度選擇一些最可靠的偽標(biāo)記數(shù)據(jù)進行訓(xùn)練。與前一方法不同的是，它的偽標(biāo)簽訓(xùn)練集的數(shù)量不是固定的，是根據(jù)采樣策略不斷擴大的。相比之下，動態(tài)的增加偽標(biāo)簽的數(shù)量在迭代過程中獲得了更好的效果。然而，上述的方法都沒有考慮跨攝像頭的行人檢索問題。