[發(fā)明專利]一種結(jié)合自編碼器與視角變換模型的跨視角步態(tài)識別方法

在審

• 申請?zhí)枺?/td>: 202110417595.0
• 申請日: 2021-04-19
• 公開（公告）號: CN113111797A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計）人: 舒勤;應(yīng)娜;郭凡;方乾萍;葉學(xué)義;楊萌
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識產(chǎn)權(quán)代理有限公司 33246
• 代理人: 周希良

1.一種結(jié)合自編碼器與視角變換模型的跨視角步態(tài)識別方法，其特征在于，包括以下步驟：

S1、采集多視角多攜帶物狀態(tài)的步態(tài)數(shù)據(jù)集，獲取不同視角和不同攜帶物狀態(tài)的步態(tài)能量圖；

S2、將有攜帶物的步態(tài)能量圖輸入基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器，以同視角下無攜帶物的步態(tài)能量圖為監(jiān)督樣本訓(xùn)練得到去攜帶物編碼器，將標(biāo)記有觀測視角信息的步態(tài)能量圖輸入基于卷積神經(jīng)網(wǎng)絡(luò)的視角判別器進行判別訓(xùn)練，得到視角判別器；

S3、將待測目標(biāo)在多個觀測視角下的步態(tài)能量圖輸入步驟S2中訓(xùn)練得到的編碼器得到純步態(tài)特征，將步態(tài)特征拼接為步態(tài)特征矩陣，通過奇異值分解以得到角度變換向量與身份信息向量；

S4、引入Siamese結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，將帶有身份標(biāo)簽的步態(tài)組輸入卷積神經(jīng)網(wǎng)絡(luò)中進行識別訓(xùn)練，得到識別模型；

S5、將待識別目標(biāo)的步態(tài)能量圖輸入自編碼器與觀測視角判別器，得到無攜帶物步態(tài)能量圖與觀測視角信息，將二者一同輸入視角投影模型并轉(zhuǎn)換至對比視角下，與在對比視角下來自不同目標(biāo)的步態(tài)能量圖依次組合成步態(tài)能量圖組，輸入步驟S4中的識別模型，取得分最高的組合為識別結(jié)果，完成跨視角步態(tài)識別。

2.如權(quán)利要求1所述的一種結(jié)合自編碼器與視角變換模型的跨視角步態(tài)識別方法，其特征在于，步驟S1具體包括：

對多視角步態(tài)視頻數(shù)據(jù)進行幀級分解，并對各幀使用分割算法，將行人輪廓與背景環(huán)境分解得到黑白二值圖；然后識別人體輪廓進行裁剪，并將一個步態(tài)周期的人體輪廓圖進行空間與時間歸一化，以得到步態(tài)能量圖GEI：

其中，N為一個步態(tài)周期的輪廓圖樣本數(shù)量，X_t為t時刻的步態(tài)輪廓圖像；并對每一個步態(tài)能量圖設(shè)置相應(yīng)的樣本標(biāo)簽、攜帶物標(biāo)簽和觀測視角標(biāo)簽。

3.如權(quán)利要求2所述的一種結(jié)合自編碼器與視角變換模型的跨視角步態(tài)識別方法，其特征在于，步驟S2具體包括：

對于觀測視角判別器的訓(xùn)練過程：將帶有觀測視角標(biāo)簽的步態(tài)數(shù)據(jù)集輸入基于11個視角區(qū)域進行劃分的視角判別器，判別器輸出判別視角編號；

對于具有移除攜帶物影響能力的自編碼器的訓(xùn)練過程，包括以下步驟：

(1)首先假設(shè)訓(xùn)練集中每一個存在攜帶物的樣本X都同時存在一個無攜帶物的模板樣本X₀；給定基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器E與解碼器D，其中，編碼器E可將輸入樣本的特征劃分為一維的步態(tài)特征g_p與攜帶物特征g_c，解碼器可將兩部分特征結(jié)合重構(gòu)為輸入樣本X′：

(g_p,g_c)＝E(X)

X′＝D(g_p,g_c)

(2)創(chuàng)造一個與經(jīng)過編碼器E劃分的攜帶物特征等大小的零填充特征g₀，將零填充特征g₀與步態(tài)特征g_p同時輸入解碼器D以生成無攜帶物步態(tài)樣本，與無攜帶物模板樣本一起制作無攜帶物重構(gòu)損失X′₀：

X′₀＝D(g_p,g₀)

(3)有攜帶物重構(gòu)損失與無攜帶物重構(gòu)損失由計算兩個步態(tài)能量圖的歐式距離得到，將兩個重構(gòu)損失結(jié)合起來組成聯(lián)合損失方程：

通過最小化L_reconst，確保解開的g_p和g_c分別僅包括輸入樣本的步態(tài)特征和攜帶物特征。