[發(fā)明專利]基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210079895.7
• 申請(qǐng)日: 2022-01-24
• 公開（公告）號(hào): CN114511880A
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 游浩泉;袁德勝;劉耀文;崔龍;林治強(qiáng);黨毅飛;馬衛(wèi)民
• 申請(qǐng)（專利權(quán)）人: 匯納科技股份有限公司
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 趙詩雨

本發(fā)明提供一種基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法、系統(tǒng)、介質(zhì)及終端；所述方法包括以下步驟：基于行人重識(shí)別數(shù)據(jù)集獲取行人圖像并組成行人圖像三元組；對(duì)所述行人圖像三元組進(jìn)行特征提取，獲取行人特征和風(fēng)格特征；對(duì)所述行人特征進(jìn)行特征融合，獲取多人融合特征；對(duì)所述多人融合特征、所述行人特征和所述風(fēng)格特征進(jìn)行圖像重構(gòu)，獲取第一生成行人圖像；對(duì)所述第一生成行人圖像進(jìn)行圖像辨別，得到第二生成行人圖像；對(duì)第二生成行人圖片進(jìn)行對(duì)比學(xué)習(xí)得到新的行人圖像；對(duì)第二生成行人圖片進(jìn)行行人辨別，獲取同行人合成的行人圖像；使用所述新的行人圖像和所述同行人合成的行人圖像擴(kuò)充所述行人重識(shí)別數(shù)據(jù)集。本發(fā)明通過生成行人，可以極大擴(kuò)充行人重識(shí)別數(shù)據(jù)集的廣度，提高行人重識(shí)別在各個(gè)場(chǎng)景的泛化能力，為工程落地鋪下良好鋪墊。

技術(shù)領(lǐng)域

本發(fā)明屬于行人重識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法及系統(tǒng)。

背景技術(shù)

行人重識(shí)別技術(shù)(Person re-identification，Re-ID)也稱行人再識(shí)別，是將跨探頭下的同行人關(guān)聯(lián)的技術(shù)，由于其在安防、商業(yè)上的廣泛應(yīng)用，該技術(shù)已經(jīng)成為了計(jì)算機(jī)視覺的熱門研究方向。當(dāng)前行人重識(shí)別模型落地過程中，主要面對(duì)的問題就是數(shù)據(jù)集的貧乏和模型跨域能力的缺失。當(dāng)前行人重識(shí)別的公開數(shù)據(jù)集只有Market1501，DukeMTMC等，且部分?jǐn)?shù)據(jù)集因涉及隱私問題也已經(jīng)下架，模型的數(shù)據(jù)來源成為了工程落地過程中的一大困難，其次，行人重識(shí)別模型在不同的季節(jié)，不同的場(chǎng)所表現(xiàn)均不一致，往往在一個(gè)場(chǎng)景下適應(yīng)后的模型難以遷移到另一個(gè)場(chǎng)景，難以保證模型的效果。

對(duì)這些問題，英偉達(dá)曾提出過一個(gè)生成網(wǎng)絡(luò)DG-Net，其通過訓(xùn)練網(wǎng)絡(luò)來合成兩個(gè)行人的圖片為一個(gè)新的行人，從而極大地?cái)U(kuò)充了數(shù)據(jù)集的廣度。但該研究的缺點(diǎn)也明顯，即生成的行人的特征差異較大，即行人A的圖片1，行人B的圖片1合成的圖片，和行人A的圖片2，行人B的圖片2合成的圖片的差異會(huì)比較大，如果將其作為一個(gè)新的行人放到網(wǎng)絡(luò)中訓(xùn)練，模型效果的穩(wěn)定性也會(huì)受到很大影響。

發(fā)明內(nèi)容

基于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法及系統(tǒng)，通過一種改進(jìn)的行人圖片生成方法，不僅擴(kuò)充原有數(shù)據(jù)集的容量，而且拉近了不同行人用不同圖片對(duì)生成的行人圖片之間的特征距離，拉遠(yuǎn)了生成的行人和生成該行人的行人之間的特征距離，從而穩(wěn)定生成效果，并保證生成的行人不會(huì)與其他行人之間過于相像。

為實(shí)現(xiàn)上述目的和其他相關(guān)目的，本發(fā)明一方面提供一種基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法，所述基于生成網(wǎng)絡(luò)的行人重識(shí)別數(shù)據(jù)集擴(kuò)充方法包括以下步驟：基于行人重識(shí)別數(shù)據(jù)集獲取行人圖像，將所述行人圖像組成行人圖像三元組；對(duì)所述行人圖像三元組進(jìn)行特征提取，獲取行人特征；對(duì)所述行人特征進(jìn)行特征融合，獲取多人融合特征；對(duì)所述行人圖像三元組進(jìn)行風(fēng)格提取，獲取風(fēng)格特征；對(duì)所述多人融合特征、所述行人特征和所述風(fēng)格特征進(jìn)行圖像重構(gòu)，獲取第一生成行人圖像；對(duì)所述第一生成行人圖像進(jìn)行圖像辨別，得到第二生成行人圖像；對(duì)所述第二生成行人圖像進(jìn)行特征提取，得到第二生成行人特征，將所述第二生成行人特征與所述行人特征進(jìn)行對(duì)比學(xué)習(xí)，得到新的行人圖像；對(duì)所述第二生成行人圖像進(jìn)行特征提取，得到第二生成行人特征，基于生成網(wǎng)絡(luò)將所述第三生成行人特征與所述行人特征進(jìn)行行人辨別，獲取同行人合成的行人圖像；使用所述新的行人圖像和所述同行人合成的行人圖像擴(kuò)充所述行人重識(shí)別數(shù)據(jù)集。

于本發(fā)明的一實(shí)施例中，對(duì)所述行人特征進(jìn)行融合，獲取多人融合特征包括以下步驟：對(duì)所述行人特征兩兩組隊(duì)，獲取特征組；對(duì)所述特征組進(jìn)行平均和線性處理，得到與所述行人特征長(zhǎng)度一致的第一輸出特征；對(duì)所述特征組進(jìn)行特征組合并進(jìn)行線性處理，得到與所述行人特征長(zhǎng)度一致的第二輸出特征；對(duì)所述第二輸出特征進(jìn)行激活函數(shù)映射，得到所述第二輸出特征的權(quán)重；對(duì)所述第一輸出特征與所述權(quán)重進(jìn)行相乘，得到所述多人融合特征。