[發(fā)明專利]基于生成對抗網(wǎng)絡(luò)的行人重識別數(shù)據(jù)集姿態(tài)數(shù)據(jù)增廣方法

有效

• 申請?zhí)枺?/td>: 202011559996.1
• 申請日: 2020-12-25
• 公開（公告）號: CN112613411B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 陳浩錕;龔小謹
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開了一種基于生成對抗網(wǎng)絡(luò)的行人重識別數(shù)據(jù)集姿態(tài)數(shù)據(jù)增廣方法。圖像采集并標注獲得訓(xùn)練集，建立包含生成對抗網(wǎng)絡(luò)和姿態(tài)分類器的網(wǎng)絡(luò)；訓(xùn)練所構(gòu)建的生成對抗網(wǎng)絡(luò)和姿態(tài)分類器；構(gòu)建虛擬數(shù)據(jù)集，構(gòu)建編碼器，使用虛擬數(shù)據(jù)集訓(xùn)練所構(gòu)建的編碼器；將虛擬數(shù)據(jù)集經(jīng)線性SVM算法處理后獲得超平面的法向量；訓(xùn)練結(jié)束后，對于任意需要進行姿態(tài)數(shù)據(jù)增廣的目標場景的待測圖片，利用編碼器、生成對抗網(wǎng)絡(luò)和法向量共同進行姿態(tài)數(shù)據(jù)的增廣。本發(fā)明無需行人圖片的類別信息，只需要行人圖像的姿態(tài)信息，調(diào)整圖中人物的姿態(tài)，在行人重識別數(shù)據(jù)集中行人類別缺失的情況下進行姿態(tài)變換，有著較好的數(shù)據(jù)增廣能力。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域的一種圖像數(shù)據(jù)增廣方法，尤其是涉及一種基于生成對抗網(wǎng)絡(luò)的行人重識別數(shù)據(jù)集姿態(tài)數(shù)據(jù)增廣方法。

背景技術(shù)

行人重識別人物的目的是在短時間大規(guī)模場景中快速定位某一個行人的軌跡。由于行人重識別大規(guī)模應(yīng)用于自動駕駛、視頻監(jiān)控、安防等方面，近幾年這一任務(wù)吸引了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注和研究。

在行人重識別任務(wù)中，由于行人數(shù)據(jù)獲取的難度大、標注代價高，行人重識別數(shù)據(jù)集的豐富程度和規(guī)模一直制約著行人重識別的效果。為了緩解這一問題，許多針對行人重識別數(shù)據(jù)集的增廣方法被提出，其中人物的姿態(tài)的數(shù)據(jù)增廣獲得了廣泛的關(guān)注。

如Qian X等人發(fā)表在《Proceedings of the European conference on computervision》的《Pose-normalized image generation for person re-identification》以及Liu J等人發(fā)表在《Proceedings of the IEEE Conference on Computer Vision andPattern Recognition》的《Pose transferrable person re-identification》都是行之有效地針對人物姿態(tài)信息進行數(shù)據(jù)增廣的方法。

現(xiàn)有的針對人物姿態(tài)信息進行數(shù)據(jù)增廣的方法依賴于人物的類別，而人物的類別恰恰是行人數(shù)據(jù)集中獲取難度最高的一類信息。

發(fā)明內(nèi)容

為了解決針對人物姿態(tài)信息進行數(shù)據(jù)增廣的方法依賴于人物的類別的問題，本發(fā)明提供了一種基于生成對抗網(wǎng)絡(luò)的行人重識別數(shù)據(jù)集姿態(tài)數(shù)據(jù)增廣方法，以生成對抗網(wǎng)絡(luò)來承擔(dān)數(shù)據(jù)增廣的工作，利用線性SVM算法和生成對抗網(wǎng)絡(luò)可解釋性原理發(fā)掘生成對抗網(wǎng)絡(luò)中蘊含的僅影響人物姿態(tài)的超平面；利用編碼器將現(xiàn)實場景的圖片轉(zhuǎn)換為高維向量，再利用超平面對向量進行插補，以獲取一系列向量。這一系列向量能夠被生成對抗網(wǎng)絡(luò)解碼為行人圖片，所表現(xiàn)出的就是人物的姿態(tài)發(fā)生了改變，而人物的類別信息不變。

本發(fā)明是針對只有姿態(tài)信息的針對人物姿態(tài)進行增廣的行人重識別數(shù)據(jù)集增廣方法。

本發(fā)明的技術(shù)方案如下：

(1)對需要進行姿態(tài)數(shù)據(jù)增廣的目標場景進行圖像的采集，并標注圖像中的姿態(tài)類別，獲得訓(xùn)練集，建立包含生成對抗網(wǎng)絡(luò)和姿態(tài)分類器的網(wǎng)絡(luò)；

(2)基于步驟(1)中建立的訓(xùn)練集，訓(xùn)練所構(gòu)建的生成對抗網(wǎng)絡(luò)，訓(xùn)練過程使用自適應(yīng)動量估計算法(Adam)；

(3)基于步驟(1)中建立的訓(xùn)練集，訓(xùn)練所構(gòu)建的姿態(tài)分類器，訓(xùn)練過程使用自適應(yīng)動量估計算法(Adam)；

(4)使用步驟(2)中訓(xùn)練得到的生成對抗網(wǎng)絡(luò)中的生成器和步驟(3)中得到的姿態(tài)分類器，構(gòu)建虛擬數(shù)據(jù)集，虛擬數(shù)據(jù)集包括隨機采樣的高斯向量、用高斯向量經(jīng)生成對抗網(wǎng)絡(luò)處理獲得的圖片以及用圖片經(jīng)姿態(tài)分類器處理獲得的圖片對應(yīng)的姿態(tài)類別；

(5)構(gòu)建編碼器，使用步驟(4)中得到的虛擬數(shù)據(jù)集，訓(xùn)練所構(gòu)建的編碼器，訓(xùn)練過程使用自適應(yīng)動量估計算法(Adam)；

(6)將步驟(4)得到的虛擬數(shù)據(jù)集經(jīng)線性SVM算法處理后獲得超平面的法向量；