[發明專利]基于時序剪影補全的多人步態識別方法、介質及設備

在審

• 申請號: 202310432607.6
• 申請日: 2023-04-21
• 公開（公告）號: CN116543456A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 王鑫;康文雄;廖小傳;鄧飛其
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/20;G06V10/26
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭

本發明提供了一種基于時序剪影補全的多人步態識別方法、介質及設備；其中方法為：獲取多行人行走視頻序列；對多行人視頻序列進行預處理，得到剪影圖序列；將剪影圖序列輸入基于雙判別器監督的輕量級時序剪影補全網絡，得到補全后的剪影圖序列；將補全后的剪影圖序列輸入到步態特征提取網絡，得到多行人步態特征編碼；將多行人步態特征編碼與注冊庫人員步態特征進行特征匹配，得到最終的步態識別結果。該方法在步態識別流程中添加剪影圖序列補全的步驟，在剪影圖序列進行識別前，使用補全方式對受遮擋的剪影圖序列進行補全，能夠根據剪影圖序列前后幀的信息，自動補全由于多人場景形成的遮擋人體部分，提升剪影圖序列的質量。

技術領域

本發明涉及生物特征識別技術領域，更具體地說，涉及一種基于時序剪影補全的多人步態識別方法、介質及設備。

背景技術

步態識別是一種新興的生物特征識別技術，步態之所以能夠成為生物特征識別技術之一，源自每個人步態的唯一性，從解剖學的角度分析，步態唯一性的物理基礎是每個人生理結構的差異性，不一樣的腿骨長度、不一樣的肌肉強度、不一樣的重心高度、不一樣的運動神經靈敏度，共同決定了步態的唯一性。步態識別旨在通過人們走路的姿態進行身份識別。

步態識別作為一種中遠距離、無感的識別方法，在安防監控、隱私保護、重點場所進出管理等領域具有廣泛的應用前景及實用價值。但目前步態識別在應用時受較多因素的影響，如實際多人步態識別場景下的動態遮擋和靜態遮擋、衣著遮擋、攜帶物遮擋等因素干擾，導致在現實場景的遮擋情況下步態識別精度較低，所以實際多人場景下的步態識別是亟需解決的問題。

目前主流的多人步態識別方法有：一、基于傳感器的方法：不同于傳統步態識別使用RGB攝像頭獲取多個行人行走畫面，基于傳感器的多人步態識別算法使用毫米波、事件相機、深度相機等類型傳感器，對多個目標行人進行探測，獲取不受遮擋因素影響的多目標行人步行數據。如中國發明專利《一種基于毫米波的多人步態識別方法及裝置》(公開號：CN111368635A)中采用了該技術路線；基于傳感器的方法能夠利用不同傳感器的優勢，從數據層面避免多行人間的遮擋問題，獲取相對完整的行人步態數據。但是該類方法依賴昂貴的傳感器設備，且在正常無遮擋場景下，基于毫米波、事件相機、深度相機等類型傳感器獲取的步態數據所包含的特征信息小于使用RGB攝像頭獲取的圖像幀。二、基于人體三維信息的識別方法：使用多攝像頭對多個目標行人進行人體建模，獲取不同行人的人體三維步態信息，接著使用圖卷積等結構提取步態特征，實現遮擋場景下的識別。如中國發明專利申請《一種基于人體骨架熱圖的多人步態識別方法》(公開號：CN114187665A)中利用三維人體骨架熱圖數據進行步態識別，中國發明專利申請《一種基于人體骨架熱圖的多人步態識別方法》(公開號：CN114187665A)中OpenPose3D提取視頻中行人的3D姿態數據，并使用3D步態識別網絡模型TSLN-PoseGait進行步態特征提取。該類方法能夠利用多個視角的攝像頭構建三維人體步態信息，通過不同視圖之間的信息互補，降低多人間相互遮擋的影響，構建出相對完整的步態信息。三、基于魯棒特征提取網絡的方法：優化步態特征提取網絡的結構，提高步態識別模型在遮擋場景下的特征魯棒性。如中國發明專利申請《基于時空混合特征的多人步態識別方法》(公開號：CN112861605A)中提出一種基于時空混合特征的多人步態識別方法，利用偽三維殘差網絡分別提取行人輪廓上半身和下半身的特征，并在水平金字塔池化時進行拼接，獲取遮擋魯棒的步態特征。該類方法避免了多類型、多數目的傳感器設備要求，對現有的步態識別網絡進行改進，但是該方法的上限取決于訓練數據的質量，且提升效果十分有限。

發明內容

為克服現有技術中的缺點與不足，本發明的目的在于提供一種基于時序剪影補全的多人步態識別方法、介質及設備；該方法在步態識別流程中添加剪影圖序列補全的步驟，在剪影圖序列進行識別前，使用補全方式對受遮擋的剪影圖序列進行補全，能夠根據剪影圖序列前后幀的信息，自動補全由于多人場景形成的遮擋人體部分，提升剪影圖序列的質量。

為了達到上述目的，本發明通過下述技術方案予以實現：一種基于時序剪影補全的多人步態識別方法，包括如下步驟：