[發(fā)明專利]一種基于循環(huán)生成式對抗網(wǎng)絡(luò)的行人圖像生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711435515.4
• 申請日: 2017-12-26
• 公開（公告）號: CN108256439A
• 公開（公告）日: 2018-07-06
• 發(fā)明（設(shè)計）人: 張史梁;田奇;高文;魏龍輝
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

本發(fā)明提供了一種基于循環(huán)生成式對抗網(wǎng)絡(luò)的行人圖像生成方法及系統(tǒng)，包括如下步驟：遷移函數(shù)學(xué)習(xí)，生成人物遷移生成式對抗網(wǎng)絡(luò)；基于所述人物遷移生成式對抗網(wǎng)絡(luò)，完成所述行人圖像中的人物遷移，將一個數(shù)據(jù)庫中的行人圖像遷移到另一個數(shù)據(jù)庫中，生成新的行人圖像。所述遷移函數(shù)包括風(fēng)格損失和身份損失。與傳統(tǒng)方法相比，本發(fā)明在眾多行人再識別公共數(shù)據(jù)集上取得了很好的遷移效果，可以在無需額外數(shù)據(jù)標(biāo)注的前提下，在目標(biāo)應(yīng)用場景中訓(xùn)練魯棒的行人再識別模型，并獲得較高的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其是涉及一種基于生成式對抗網(wǎng)絡(luò)的行人圖像生成方法及系統(tǒng)。

背景技術(shù)

近年來，隨著人們對社會的公共安全越來越關(guān)注，視頻監(jiān)控系統(tǒng)大量普及。諸如機(jī)場、火車站、校園和辦公大樓等公眾場所，都亟需監(jiān)控，為安防保駕護(hù)航。面對海量的監(jiān)控視頻數(shù)據(jù)，大量的人力需要投入到視頻信息的監(jiān)控與檢索中去，這種方式的效率不僅低，還造成了額外資源浪費(fèi)。如果能夠利用計算機(jī)視覺分析技術(shù)，自動化監(jiān)控及分析視頻信息，必然可以極大地加快“平安城市”的建設(shè)。

行人再識別是計算機(jī)視覺的研究中關(guān)鍵的任務(wù)。一般來說，給定關(guān)于行人的一張圖片或者一段視頻，行人再識別就是在其它不重合拍攝場景下的圖片或者視頻中，將同一個人識別出來的過程。盡管相關(guān)的研究越來越受到重視，行人再識別的準(zhǔn)確率也已經(jīng)提高了不少，但仍有許多困難需要解決。由于待識別的行人圖片與原圖片拍攝于不同的相機(jī)，設(shè)備的差異會給成像條件帶來誤差；不同的場景下的環(huán)境不一，對采集的數(shù)據(jù)也會產(chǎn)生不同的偏差；且光照的改變會使得同一種顏色的表現(xiàn)不同；更重要的是，行人在攝像頭下的姿態(tài)變化以及遮擋問題，都使得對同一個人的辨別難度相當(dāng)大。

行人再識別中，背景、光照、攝像機(jī)參數(shù)等因素變化往往導(dǎo)致可用的標(biāo)注數(shù)據(jù)集與目標(biāo)應(yīng)用場景數(shù)據(jù)之間存在較大差異。直接使用此類標(biāo)注數(shù)據(jù)訓(xùn)練得到的模型在不同類型的應(yīng)用場景中性能較差。

發(fā)明內(nèi)容

為解決以上問題，本發(fā)明顯式地利用生成式模型對已標(biāo)注的行人圖像數(shù)據(jù)進(jìn)行遷移，使得遷移后的數(shù)據(jù)符合目標(biāo)應(yīng)用場景中的數(shù)據(jù)特點，從而使遷移后的數(shù)據(jù)可以更有效的應(yīng)用于目標(biāo)場景中的模型訓(xùn)練任務(wù)。

根據(jù)本發(fā)明的一個方面，提供了一種基于循環(huán)生成式對抗網(wǎng)絡(luò)的行人圖像生成方法，包括如下步驟：

遷移函數(shù)學(xué)習(xí)，生成人物遷移生成式對抗網(wǎng)絡(luò)；

基于所述人物遷移生成式對抗網(wǎng)絡(luò)，完成所述行人圖像中的人物遷移，將一個數(shù)據(jù)庫中的行人圖像遷移到另一個數(shù)據(jù)庫中，生成新的行人圖像。

優(yōu)選的，所述遷移函數(shù)包括風(fēng)格損失和身份損失。

優(yōu)選的，所述人物遷移生成式對抗網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

其中，表示風(fēng)格損失，表示身份損失，λ₁表示兩種損失之間的交換系數(shù)。

優(yōu)選的，所述風(fēng)格損失為：

其中，表示標(biāo)準(zhǔn)對抗損失，表示循環(huán)一致性損失，G表示從數(shù)據(jù)集A到B的風(fēng)格映射函數(shù)，而表示從數(shù)據(jù)集B到A的風(fēng)格映射函數(shù)，D_A和D_B分別表示A和B的風(fēng)格鑒別器，λ₂表示交換系數(shù)。

優(yōu)選的，所述風(fēng)格鑒別器D_A、D_B分別由數(shù)據(jù)集A、B內(nèi)的未標(biāo)簽人物圖像訓(xùn)練得到。

優(yōu)選的，所述身份損失為：

其中，G(a)表示從圖像a中遷移到數(shù)據(jù)集B的人物圖像，表示從圖像b中遷移到數(shù)據(jù)集A的人物圖像，M(a)表示圖像a的前景模板，M(b)表示圖像b的前景模板，表示從數(shù)據(jù)集A中采樣出的圖像a的數(shù)學(xué)期望，表示從數(shù)據(jù)集B中采樣出的圖像b的數(shù)學(xué)期望。