[發(fā)明專利]一種基于淺層紋理提取的跨域重識別方法及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202210905641.6
• 申請日: 2022-07-29
• 公開（公告）號: CN115170836A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計）人: 徐穎;陳曉清;蔡大森;湯俊杰;陳明偉
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06V10/62
• 分類號: G06V10/62;G06V10/54;G06V10/82;G06V10/26;G06V10/44
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 陳專

本發(fā)明公開了一種基于淺層紋理提取的跨域重識別方法及相關(guān)設(shè)備，在循環(huán)生成對抗網(wǎng)絡(luò)的基礎(chǔ)上增加一個重識別模型，重識別模型提取生成圖像以及目標(biāo)域圖像的淺層特征圖，利用紋理損失進(jìn)行監(jiān)督，使得生成器生成的圖像在淺層紋理級別更趨近于目標(biāo)域圖像；重識別模型在度量分支上提取源域、生成域、目標(biāo)域上的圖像的深層特征編碼，利用度量學(xué)習(xí)損失函數(shù)對生成圖像的身份信息進(jìn)行保留，同時讓重識別模型區(qū)分生成圖像與目標(biāo)域圖像的不同，通過該方法可以生成與目標(biāo)域風(fēng)格更接近以及更適配重識別任務(wù)的圖片，在重識別任務(wù)中，利用自適應(yīng)局部特征分割方法和局部信息動態(tài)匹配方法改進(jìn)多粒度特征提取模型，可以在一定程度上緩解姿態(tài)失配問題。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺技術(shù)領(lǐng)域，尤其涉及一種基于淺層紋理提取的跨域重識別方法、系統(tǒng)、終端及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著經(jīng)濟(jì)與科技的快速發(fā)展，我國的城市化進(jìn)程正在穩(wěn)步推進(jìn)，各個場景中的監(jiān)控攝像機(jī)數(shù)量不斷增加，十分有利于智能監(jiān)控技術(shù)的落地。利用輔助特征表征學(xué)習(xí)的方式增加額外的注釋信息或訓(xùn)練樣本來強(qiáng)化神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)到的特征已經(jīng)引起重視。

近年來，有不少方法被提出，例如，結(jié)合預(yù)測的語義屬性信息，提出了一個深度屬性學(xué)習(xí)框架，增強(qiáng)了半監(jiān)督學(xué)習(xí)中特征表示的可推廣性和魯棒性；利用視點信息來增強(qiáng)特征；將每個相機(jī)看作不同的域，提出了一種多攝像機(jī)一致匹配約束，用以在深度學(xué)習(xí)框架中獲得全局最優(yōu)表示；嘗試將GAN用于重識別，改進(jìn)了基于生成的行人圖像的有監(jiān)督特征表示學(xué)習(xí)。然而，以上方法都沒有考慮紋理信息。已知不同場景獲取的數(shù)據(jù)集風(fēng)格各不相同，為了增加樣本數(shù)量來提高模型的泛化性能，就要將不同數(shù)據(jù)集的風(fēng)格進(jìn)行遷移生成更多訓(xùn)練樣本。而風(fēng)格往往和樣本的紋理特征相關(guān)，對紋理特征進(jìn)行約束，可以提高風(fēng)格遷移效果。而在重識別任務(wù)中，如果獲取樣本的相機(jī)視角不理想，會導(dǎo)致目標(biāo)在圖像上的有效感受區(qū)域、位置不同，造成部分檢測結(jié)果中背景區(qū)域占比過大。

因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種基于淺層紋理提取的跨域重識別方法、系統(tǒng)、終端及計算機(jī)可讀存儲介質(zhì)，旨在解決現(xiàn)有技術(shù)中在重識別任務(wù)中，如果獲取樣本的相機(jī)視角不理想，會導(dǎo)致目標(biāo)在圖像上的有效感受區(qū)域、位置不同，造成部分檢測結(jié)果中背景區(qū)域占比過大的問題。

為實現(xiàn)上述目的，本發(fā)明提供一種基于淺層紋理提取的跨域重識別方法，所述基于淺層紋理提取的跨域重識別方法包括如下步驟：

獲取源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集，將所述源域數(shù)據(jù)集和所述目標(biāo)域數(shù)據(jù)集輸入到循環(huán)生成對抗網(wǎng)絡(luò)；

從所述源域數(shù)據(jù)集和所述目標(biāo)域數(shù)據(jù)集分別采樣得到源域圖片和目標(biāo)域圖片，所述循環(huán)生成對抗網(wǎng)絡(luò)根據(jù)所述目標(biāo)域圖片的風(fēng)格將所述源域圖片轉(zhuǎn)化為與所述目標(biāo)域圖片的風(fēng)格接近的生成圖片，并將所述生成圖片、所述源域圖片和所述目標(biāo)域圖片輸入到重識別模型；

分別提取所述生成圖片、所述源域圖片與所述目標(biāo)域圖片輸入所述重識別模型后得到的淺層特征圖以及深層特征圖，并進(jìn)行損失計算；

根據(jù)損失計算梯度，更新所述循環(huán)生成對抗網(wǎng)絡(luò)與所述重識別模型的參數(shù)；

獲得更新后的循環(huán)生成對抗網(wǎng)絡(luò)，使用更新后的循環(huán)生成對抗網(wǎng)絡(luò)將所述源域數(shù)據(jù)集轉(zhuǎn)換成所述目標(biāo)域數(shù)據(jù)集的風(fēng)格；

將更新后的循環(huán)生成對抗網(wǎng)絡(luò)生成的圖片送入多粒度特征提取模型進(jìn)行訓(xùn)練，以得到跨域識別性能提高的重識別模型。

此外，為實現(xiàn)上述目的，本發(fā)明還提供一種基于淺層紋理提取的跨域重識別系統(tǒng)，其中，所述基于淺層紋理提取的跨域重識別系統(tǒng)包括：

數(shù)據(jù)獲取模塊，用于獲取源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集，將所述源域數(shù)據(jù)集和所述目標(biāo)域數(shù)據(jù)集輸入到循環(huán)生成對抗網(wǎng)絡(luò)；