[發明專利]一種基于多視角生成對抗網絡的行人重識別方法

在審

• 申請號: 202010501858.1
• 申請日: 2020-06-05
• 公開（公告）號: CN111881716A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 郭繼峰;龐志奇;于鳴;李星;朱泳
• 申請（專利權）人: 東北林業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多視角生成對抗網絡的行人重識別方法，其特征在于，包括如下步驟：

步驟1：從原始行人重識別訓練集中挑選出圖像作為提出的PmGAN(pedestrian multi-view generation adversarial networks，行人多視角生成對抗網絡)的訓練集；基于挑選出的訓練集訓練提出的PmGAN；

步驟2：利用訓練好的PmGAN對給定視角下的圖像生成其他視角下的圖像，并賦予生成圖像與原圖像相同的ID標簽，最后把帶標簽的生成圖像添加到原始訓練集中，得到擴充的訓練集，基于擴充的訓練集訓練行人重識別網絡；

步驟3：利用PmGAN對查詢圖像進行多視角生成，完善查詢圖像的特征向量；

步驟4：把完善后的特征向量作為查詢圖像的特征，用于行人重識別任務，最終按相似性大小排列圖像，完成行人重識別任務。

2.根據權利要求1所述的基于多視角生成對抗網絡的行人重識別方法，其特征在于，所述步驟1包括如下步驟：

步驟1.1：從原始行人重識別訓練集中挑選出正面、側面和背面三個視角的圖像以及1～5張其他視角圖像作為提出的PmGAN的訓練集；

步驟1.2：并根據原有行人ID進行分組，使每組圖像都包含正面、側面、背面以及若干其他視角圖像；

步驟1.3：提出的PmGAN包括三個分別用于生成正面、側面和背面圖像的生成器和一個多類別判別器。生成器以給定圖像作為輸入，輸出確定視角下的行人圖像；判別器以生成圖像或真實圖像以及對應的視角作為輸入，輸出真實圖像的概率。生成器與判別器交替訓練，直至達到納什平衡。

3.根據權利要求1所述的基于多視角生成對抗網絡的行人重識別方法，其特征在于，所述步驟2包括如下步驟：

步驟2.1：利用訓練好的PmGAN的生成器對給定視角下的圖像生成其他視角下的圖像，并賦予生成圖像與原圖像相同的ID標簽，最后把帶標簽的生成圖像添加到原始訓練集中，得到擴充的訓練集；

步驟2.2：基于擴充的訓練集訓練行人重識別網絡，其中行人重識別網絡可以是現有的方法也可以是提出的基于特征向量的方法，最終訓練完成的行人重識別網絡具有提取圖像特征的能力。

4.根據權利要求1所述的基于多視角生成對抗網絡的行人重識別方法，其特征在于，所述步驟3包括如下步驟：

步驟3.1：對于給定的查詢圖像，利用PmGAN進行多視角生成，得到給定行人圖像的正面、側面和背面三視角下的行人圖像。

步驟3.2：把三個生成圖像和原給定圖像分別輸入到行人重識別網絡中進行特征提取，把提取出的四個特征向量依據最大值原則進行特征融合，得到完善的特征向量。

5.根據權利要求1所述的基于多視角生成對抗網絡的行人重識別方法，其特征在于，所述步驟4包括如下步驟：

步驟4.1：利用行人重識別網絡對測試集中所有圖像進行特征提取，得到測試集中所有圖像的特征向量；

步驟4.2：把完善后的特征向量作為查詢圖像的特征，與得到的測試集中的所有特征向量進行相似性度量，其中相似性度量可采用歐式距離，但不限于此。最后按照相似性從大到小即歐式距離從小到大排列測試集中的圖像，完成行人重識別任務。