[發(fā)明專利]一種利用目標(biāo)姿勢(shì)進(jìn)行生成的行人重識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010531805.4
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111753684B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 李華鋒;周爐;董能;張亞飛
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/774;G06V10/764;G06V10/80;G06K9/62
• 代理公司: 昆明明潤(rùn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 53215
• 代理人: 馬海紅

1.一種利用目標(biāo)姿勢(shì)進(jìn)行生成的行人重識(shí)別方法，其特征在于：包括如下步驟：

Step 1：確定目標(biāo)姿勢(shì)生成的行人重識(shí)別模型的整體流程；

Step 2：設(shè)計(jì)生成識(shí)別算法所設(shè)計(jì)的約束條件和目標(biāo)函數(shù)；

Step 3：確定模型算法的訓(xùn)練和測(cè)試過(guò)程；

所述步驟1包括如下步驟：

Step1.1：給定一張?jiān)紙D像和目標(biāo)姿態(tài)將其進(jìn)行連接，并通過(guò)目標(biāo)姿勢(shì)行人所在的攝像頭標(biāo)簽信息，利用生成器生成原始圖像下?lián)碛心繕?biāo)姿態(tài)的目標(biāo)圖像；同時(shí)利用生成器將真實(shí)的目標(biāo)圖像、原始圖像的姿態(tài)和給定的目標(biāo)攝像頭的標(biāo)簽信息作為生成條件進(jìn)行生成，生成真實(shí)圖像下?lián)碛性紙D像姿態(tài)的圖像；

Step1.2：將Step1.1中生成的目標(biāo)圖像和真實(shí)的目標(biāo)圖像先后通過(guò)resnet50網(wǎng)絡(luò)進(jìn)行特征的提取，進(jìn)行特征的融合，得到融合后的目標(biāo)圖像Reid特征；同時(shí)將Step1.1中生成的擁有原始圖像姿態(tài)的圖像和真實(shí)的原始圖像通過(guò)resnet50網(wǎng)絡(luò)，得到融合后的原始圖像的Reid特征；

Step1.3：將Step1.2得到的兩個(gè)Reid特征進(jìn)行余弦距離的度量；

所述步驟2包括如下步驟：

Step2.1：原始生成式對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)：

其中p_data(x)和p_prior(x)分別代表真實(shí)數(shù)據(jù)x和高斯先驗(yàn)z～N(0,1)的分布，D(x)代表是判別器，G(z)代表是的生成器，在整個(gè)訓(xùn)練過(guò)程中針對(duì)生成器和判別器使用損失函數(shù)L_G＝L_GAN和L_D＝-L_GAN來(lái)迭代更新生成器和判別器的參數(shù)，最終使得整個(gè)GAN達(dá)到納什平衡；

Step2.2：通過(guò)給定原始圖像I_i和目標(biāo)姿態(tài)以及目標(biāo)攝像頭的標(biāo)簽信息L_T通過(guò)生成器G_p生成原始圖像下?lián)碛心繕?biāo)姿態(tài)的目標(biāo)圖像并將與真實(shí)的目標(biāo)圖像I_j輸入判別器D_p對(duì)生成具有目標(biāo)姿態(tài)圖像行進(jìn)真假的判別，在系統(tǒng)中生成模型采用對(duì)抗損失，受到Conditional GAN的啟發(fā)，加入攝像頭標(biāo)簽作為條件；利用生成映射函數(shù)G_T:I_i→I_j將源域行人圖像進(jìn)行映射生成目標(biāo)域行人圖像，并且利用D_T來(lái)對(duì)生成的目標(biāo)域進(jìn)行判別，幫助生成器在跨域的reid模型的構(gòu)建，目標(biāo)姿勢(shì)行人生成目標(biāo)函數(shù)如下:

其中G_T代表生成器，L_T代表目標(biāo)攝像頭的標(biāo)簽，利用原始圖像I_i和目標(biāo)姿態(tài)生成目標(biāo)姿態(tài)，同時(shí)判別器D_T對(duì)生成的和真實(shí)的圖像進(jìn)行判別，之后將和I_j輸入resNet50網(wǎng)絡(luò)進(jìn)行特征的融合并輸出向量V_j；

Step2.3：利用真實(shí)的目標(biāo)圖像I_j、源域攝像頭的標(biāo)簽信息L_S和原始圖像姿態(tài)通過(guò)生成器G_q生成目標(biāo)圖像下?lián)碛性甲藨B(tài)的原始圖像并將與真實(shí)的原始圖像I_i輸入判別器D_q進(jìn)行圖像真假的判斷；那么利用L_S源攝像頭的標(biāo)簽和生成映射函數(shù)G_S:I_j→I_i將目標(biāo)攝像頭下圖像重新生成回源攝像頭下的圖像，并且利用D_S來(lái)對(duì)圖像進(jìn)行判別，其對(duì)應(yīng)的目標(biāo)函數(shù)如下

最后，將和I_i輸入resNet50網(wǎng)絡(luò)進(jìn)行特征的融合并輸出向量V_i；

Step2.4：保證生成的目標(biāo)域的生成質(zhì)量，在這里借鑒CycleGAN的思想，使的源域生成目標(biāo)域的圖像再經(jīng)過(guò)反向生成的圖像與真實(shí)源域圖像更加的接近，其目標(biāo)函數(shù)如下：

Step2.5：接下來(lái)利用L₁范數(shù)來(lái)對(duì)生成的圖像進(jìn)行約束，使得生成的圖像的人物的身份信息減少的最少，減少語(yǔ)義偏移造成的損失，其身份損失函數(shù)如下：

Step2.6：其中判別器要學(xué)會(huì)去判別哪個(gè)是真實(shí)的圖像哪個(gè)是生成的圖像，且判別器目標(biāo)函數(shù)如下:

L_D＝-L_GAN (6)

Step2.7：通過(guò)以上的約束，最終可以得到如下的目標(biāo)函數(shù)：

其中λ₁,λ₂分別為不同的權(quán)重系數(shù)，用來(lái)權(quán)衡生成圖像和真實(shí)圖像的之間的相關(guān)重要性；

Step2.8：最后對(duì)取得的特征向量V_i和V_j進(jìn)行余弦距離的度量，以便判斷是否為同一個(gè)行人:

2.根據(jù)權(quán)利要求1所述的一種利用目標(biāo)姿勢(shì)進(jìn)行生成的行人重識(shí)別方法，其特征在于：所述步驟3訓(xùn)練和測(cè)試步驟如下:

Step3.1：在訓(xùn)練階段，通過(guò)源域攝像頭下的行人I_i、目標(biāo)攝像頭行人的姿態(tài)和給定的目標(biāo)攝像頭的標(biāo)簽信息L_T生成目標(biāo)攝像頭下的行人同時(shí)利用目標(biāo)攝像頭下的行人I_j、源攝像頭下的行人I_i的姿態(tài)和給定的源攝像頭下的標(biāo)簽信息L_S生成源攝像頭下的行人來(lái)訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)模型，同時(shí)使得生成器具有在給定攝像頭標(biāo)簽信息的情況下生成該具有該攝像頭的風(fēng)格的行人，接下來(lái)訓(xùn)練的分類器，根據(jù)的I_i和通過(guò)特征提取網(wǎng)絡(luò)進(jìn)行特征提取，以及I_j和進(jìn)行提取特征融合，然后進(jìn)行距離度量從而達(dá)到reid的任務(wù)；

Step3.2：在測(cè)試階段給定query圖像集合gallery圖像集的情況下，將query的圖像I_i經(jīng)過(guò)之前訓(xùn)練好的生成器和給定gallery圖像的姿態(tài)和所在的攝像頭下的標(biāo)簽信息，進(jìn)行生成gallery攝像頭相同風(fēng)格下的query的圖像利用相同的方法將I_j生成從而利用在訓(xùn)練階段的訓(xùn)練的分類器和特征提取器對(duì)上面融合后的特征進(jìn)行距離的度量。