[發(fā)明專利]一種基于特征解耦和特征遷移相結(jié)合的跨域行人重識別技術(shù)

在審

• 申請?zhí)枺?/td>: 202110355039.5
• 申請日: 2021-04-01
• 公開（公告）號: CN112906661A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 黃嘉健
• 申請（專利權(quán)）人: 黃嘉健
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于計算機(jī)應(yīng)用技術(shù)領(lǐng)域機(jī)器學(xué)習(xí)理論及應(yīng)用子領(lǐng)域。本發(fā)明所要解決的問題是行人重識別模型應(yīng)用于目標(biāo)域時面臨的嚴(yán)重的性能下降問題。解決該方案的算法要點如下：首先使用特征解耦技術(shù)DG?Net++提取源域ID有關(guān)特征，而后用“測地線流式核方法”將ID有關(guān)特征轉(zhuǎn)換至中間域中，最后利用轉(zhuǎn)換至中間域的特征去訓(xùn)練模型。在將訓(xùn)練好的模型應(yīng)用于目標(biāo)域時，利用DG?Net++技術(shù)解耦出目標(biāo)域的ID有關(guān)特征并利用“測地線流式核方法”將目標(biāo)域的ID有關(guān)特征轉(zhuǎn)換至中間域后完成行人重識別任務(wù)。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)應(yīng)用技術(shù)領(lǐng)域機(jī)器學(xué)習(xí)理論及應(yīng)用子領(lǐng)域，本發(fā)明專利關(guān)注于跨域行人重識別問題。提出一種特征解耦和特征遷移相結(jié)合的技術(shù)，用于解決行人重識別模型在面對跨域任務(wù)時因分布漂移而性能大幅度下降的問題。我們首先使用特征解耦技術(shù)DG-Net++，剝離與ID無關(guān)的特征；接著使用特征遷移技術(shù)測地線流式核方法，將源域和目標(biāo)域的特征遷移至中間域；而后用遷移至中間域的特征來訓(xùn)練模型。由于ID無關(guān)特征被剝離，且域特征被遷移至中間域中，訓(xùn)練出的模型遇到的分布漂移問題將大大減輕，這有效的提高了模型的跨域性能，促進(jìn)了跨域行人重識別問題的解決。

背景技術(shù)

行人重識別(re-id)是智慧監(jiān)控的核心技術(shù)，旨在通過給定的查詢圖像，在非重疊攝像機(jī)中檢索包含感興趣人員的圖像，是構(gòu)建智能城市的基本技術(shù)。當(dāng)前的行人重識別任務(wù)在有監(jiān)督的學(xué)習(xí)場景中已經(jīng)達(dá)到了讓人相當(dāng)滿意的表現(xiàn)。目前有監(jiān)督的行人重識別的數(shù)據(jù)一般取自校園里的一小塊區(qū)域，人流量較少且攝像頭較少。但在實際的城市監(jiān)控場景中，攝像頭數(shù)量和人流數(shù)量均相當(dāng)龐大，標(biāo)志這樣的數(shù)據(jù)集是極其困難、昂貴和幾乎不可能的。因此，針對無標(biāo)簽的行人重識別數(shù)據(jù)集的研究蜂擁而出。由于跨域行人重識別中兩個不同的域不包含任何相同的身份類，因此大多數(shù)遷移學(xué)習(xí)領(lǐng)域的基本算法難以用在本領(lǐng)域中。研究如何在無監(jiān)督的情景中較好地實現(xiàn)行人重識別成為該領(lǐng)域研究中的重要任務(wù)。

借助有標(biāo)簽的源域讓模型在無標(biāo)簽的目標(biāo)域?qū)崿F(xiàn)較好的行人重識別這個任務(wù)叫做跨域行人重識別。由于源域和目標(biāo)域的差異，如季節(jié)、背景、視點、光照、攝像機(jī)等的變化，將在源域訓(xùn)練好的模型部署到目標(biāo)域時通常會造成嚴(yán)重的性能下降。解決這一問題的主要方法基于這樣一個假設(shè)：如果受域特有特征的影響縮小或域間差距縮小，在源域中性能表現(xiàn)良好的模型預(yù)計將在目標(biāo)域中實現(xiàn)類似的性能。因此具體的解決方案又分為兩個技術(shù)路線：一是在訓(xùn)練模型時剝離域特有的特征即剝離ID無關(guān)特征，二是進(jìn)行域?qū)R。其中，域?qū)R又分為實例級對齊和特征級對齊。

但現(xiàn)有的技術(shù)未能很好地將ID無關(guān)特征剝離與域?qū)R很好地結(jié)合起來，事實上這兩種技術(shù)路線有很強(qiáng)的互補(bǔ)性。如果未進(jìn)行ID無關(guān)特征的剝離便進(jìn)行域?qū)R，那么諸如背景雜波之類等無需對齊難以對齊的特征也被要求強(qiáng)行對齊，這是難以做到的，因此純粹的域?qū)R方案往往不能取得較好的效果。另一方面，現(xiàn)有技術(shù)無法做到完全地特征解耦，并且即便實現(xiàn)徹底地解耦，只留下與ID有關(guān)的特征，也無法解決分布漂移的問題，這是因為ID有關(guān)特征本身便帶有域相關(guān)的屬性，因此在特征解耦之后再進(jìn)行特征遷移實現(xiàn)域?qū)R對跨域任務(wù)的解決至關(guān)重要。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是行人重識別模型在進(jìn)行跨域任務(wù)時會產(chǎn)生嚴(yán)重的性能下降問題，提出了一種特征解耦與特征遷移相結(jié)合的跨域行人重識別解決方案。并且該方案第一次將特征遷移技術(shù)測地線流式核方法引入到跨域行人重識別領(lǐng)域中。

本發(fā)明的總體結(jié)構(gòu)說明如下：

我們的模型由三個模塊構(gòu)成，分別是特征解耦模塊，特征遷移模塊和reid模塊。特征解耦模塊負(fù)責(zé)將特征分離成ID無關(guān)特征和ID表征特征，該模塊預(yù)先在數(shù)據(jù)集上進(jìn)行訓(xùn)練，在我們的方案中，我們采用DG-Net++作為特征解耦的解決方案。特征遷移模塊負(fù)責(zé)將從特征解耦模塊中獲得的源域和目標(biāo)域的ID有關(guān)特征遷移至中間域，在我們的方案中，我們采用的特征遷移技術(shù)為測地線流式核方法。第三個模塊是Reid模塊，其由ResNet50網(wǎng)絡(luò)的block1，block2,block3和block4構(gòu)成，其輸入為中間域特征。我們采用gem池化方法做全局池化，采用基于軟標(biāo)簽的分類損失和帶有難樣本挖掘的三元組損失進(jìn)行模型訓(xùn)練。