[發明專利]基于時序剪影補全的多人步態識別方法、介質及設備

在審

• 申請號: 202310432607.6
• 申請日: 2023-04-21
• 公開（公告）號: CN116543456A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 王鑫;康文雄;廖小傳;鄧飛其
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/20;G06V10/26
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭

1.一種基于時序剪影補全的多人步態識別方法，其特征在于：包括如下步驟：

S1、獲取多行人行走視頻序列，利用行人檢測算法，多目標跟蹤算法進行行人定位；

S2、將S1步驟中得到的多行人視頻序列進行分割處理，得到每個行人對應的黑白輪廓圖序列，并進行步態對齊操作，得到統一尺寸的剪影圖序列；

S3、將剪影圖序列輸入基于雙判別器監督的輕量級時序剪影補全網絡，得到補全后的剪影圖序列；

S4、將補全后的剪影圖序列輸入到步態特征提取網絡，得到多行人步態特征編碼；

S5、將多行人步態特征編碼與注冊庫人員步態特征進行特征匹配，得到最終的步態識別結果。

2.根據權利要求1所述的基于時序剪影補全的多人步態識別方法，其特征在于：所述S3中，基于雙判別器監督的輕量級時序剪影補全網絡包括補全網絡本體；

補全網絡本體為Encoder-Decoder編解碼結構，補全網絡本體中使用BN正則化手段，LeakyReLu作為激活函數；補全網絡本體包括編碼器和解碼器；其中，編碼器包含N層卷積層，用于剪影圖序列的下采樣操作，得到壓縮的步態序列特征；解碼器包含N+1層反卷積層，用于將壓縮的步態序列特征解碼得到補全后的剪影圖序列。

3.根據權利要求1所述的基于時序剪影補全的多人步態識別方法，其特征在于：所述基于雙判別器監督的輕量級時序剪影補全網絡是指經過訓練的基于雙判別器監督的輕量級時序剪影補全網絡；在基于雙判別器監督的輕量級時序剪影補全網絡訓練過程中，基于雙判別器監督的輕量級時序剪影補全網絡中加入真偽判別器和身份判別器，以優化補全網絡本體參數W_G；

所述真偽判別器由五層3D卷積層組成，使用LayerNorm正則化手段，LeakyReLu作為激活函數；真偽判別器的輸入為補全后的剪影圖序列；真偽判別器負責補全網絡本體的補全效果判別，以得到高圖像質量的補全后剪影圖序列；

所述身份判別器由五層2D卷積層組成，使用BN正則化手段，LeakyReLu作為激活函數；身份判別器輸入為補全后剪影圖序列和單人行走視頻序列在時間維度壓縮、拼接后的步態能量圖；身份判別器負責補全網絡本體在補全剪影圖序列前后的步態身份特征一致性判別，以防止補全后剪影圖序列丟失行人步態信息。