[發(fā)明專利]一種基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010619125.8
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111753786A
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 趙佳琦;鐘昱豐;夏士雄;周勇;姚睿;張迪;陳瑩;張曼
• 申請(qǐng)（專利權(quán)）人: 中國(guó)礦業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 王美章

1.一種基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法，包括以下幾個(gè)步驟：

(1)從行人重識(shí)別數(shù)據(jù)集中，劃分出訓(xùn)練集和測(cè)試集，對(duì)訓(xùn)練集中的行人圖像進(jìn)行數(shù)據(jù)預(yù)處理操作獲取訓(xùn)練樣本；

(2)通過(guò)輸入步驟(1)中的訓(xùn)練樣本得到行人圖像的特征向量；

(3)輸入行人圖像的特征向量、姿勢(shì)信息和噪聲到生成網(wǎng)絡(luò)，得到與訓(xùn)練樣本行人圖像身份相關(guān)、姿勢(shì)無(wú)關(guān)的生成圖像；

(4)在步驟(3)的基礎(chǔ)上，構(gòu)建基于虛假圖像的輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)模型；

其特征在于：所述步驟(2)中，輸入訓(xùn)練樣本到初始全尺度特征融合網(wǎng)絡(luò)提取圖像特征，通過(guò)對(duì)樣本不同尺度的卷積，并將各卷積的結(jié)果進(jìn)行融合，得到能夠反映行人圖像全尺度特征的特征向量；

所述步驟(4)中，使用多種損失函數(shù)對(duì)生成的圖像進(jìn)行身份檢測(cè)、身份信息判別、姿勢(shì)信息判別，對(duì)輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)進(jìn)行優(yōu)化，具體是：

對(duì)于身份檢測(cè)分類器D，檢測(cè)從同一張訓(xùn)練樣本行人圖像中提取的兩個(gè)特征向量，是否屬于同一個(gè)人；

對(duì)于身份信息判別器Di，檢測(cè)訓(xùn)練樣本行人圖像和生成圖像是否屬于同一個(gè)人；

對(duì)于姿勢(shì)信息判別器Dp，檢測(cè)原始行人圖像和生成行人圖像是否具有相同的姿勢(shì)；

對(duì)輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)進(jìn)行優(yōu)化，聯(lián)合損失函數(shù)L如下：

L＝L_D+λ_Di*L_Di+λ_Dp*L_Dp

式中，L_D為身份檢測(cè)分類器D的損失函數(shù)，λ_Di為身份信息判別器Di損失函數(shù)L_Di所占的比重，λ_Dp為姿勢(shì)信息判別器Dp損失函數(shù)L_Dp所占的比重。

2.根據(jù)權(quán)利要求1所述的基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法，其特征在于：所述初始全尺度特征融合網(wǎng)絡(luò)由多個(gè)不同感受野的卷積模塊組成的網(wǎng)絡(luò)層來(lái)實(shí)現(xiàn)，每個(gè)網(wǎng)絡(luò)層檢測(cè)一定尺度的局部特征；并且使用通道聚合對(duì)每個(gè)通道權(quán)重進(jìn)行動(dòng)態(tài)全尺度特征融合。

3.根據(jù)權(quán)利要求1所述的基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法，其特征在于：所述步驟(4)中，對(duì)于身份檢測(cè)分類器D，使用二元交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，具體公式如下：

L_D＝-C*log(d(v₁,v₂))-(1-C)*(1-log(d(v₁,v₂)))

式中，v₁,v₂表示從同一張?jiān)夹腥藞D像中提取的兩個(gè)特征向量；d(v₁,v₂)表示兩個(gè)特征向量屬于同一個(gè)人的置信度；C表示真實(shí)標(biāo)簽，當(dāng)兩個(gè)特征向量是同一個(gè)人時(shí)為1，否則為0。

4.根據(jù)權(quán)利要求1所述的基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法，其特征在于：所述步驟(4)中，對(duì)于身份信息判別器Di，使用基于JS散度的二元交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，具體公式如下：

式中，d(v_o,v_t)表示原始行人圖像特征向量v_o與目標(biāo)行人圖像特征向量v_t屬于同一個(gè)人的置信度；d(v_o,v′_t)表示原始行人圖像特征向量v_o與生成行人圖像特征向量v′_t屬于同一個(gè)人的置信度；表示真實(shí)數(shù)據(jù)分布，表示生成數(shù)據(jù)分布，表示數(shù)學(xué)期望。

5.根據(jù)權(quán)利要求1所述的基于全尺度特征融合和輕量級(jí)生成式對(duì)抗網(wǎng)絡(luò)的行人重識(shí)別方法，其特征在于：所述步驟(4)中，對(duì)于姿勢(shì)信息判別器Dp，使用基于JS散度的二元交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練，具體公式如下：

式中，d(v_p,v_pt)表示指定姿勢(shì)特征向量v_p與原始行人圖像特征向量v_pt屬于同一個(gè)姿勢(shì)的置信度；d(v_p,v′_pt)表示指定姿勢(shì)特征向量v_p與生成行人圖像特征向量v′_pt屬于同一個(gè)姿勢(shì)的置信度。