[發明專利]基于時空混合特征的多人步態識別方法

在審

• 申請號: 202011570903.5
• 申請日: 2020-12-26
• 公開（公告）號: CN112861605A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 成科揚;何霄兵;王文杉;師文喜;司宇
• 申請（專利權）人: 江蘇大學;中國電子科技集團公司電子科學研究院;鎮江昭遠智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于時空混合特征的多人步態識別方法。該方法首先引入混合掩膜網絡進行行人檢測與分割，并在混合掩膜網絡中添加關聯頭來提取行人的低維特征。然后，選擇需要識別的行人輪廓序列，送入基于偽三維殘差網絡的步態識別模型進行特征提取。該方法利用偽三維殘差網絡分別提取行人輪廓上半身和下半身的特征，并在水平金字塔池化時進行拼接。最后，通過歐氏距離度量，輸出行人的身份信息。本發明公開的多人步態識別方法能夠解決復雜場景下無法進行行人步態識別的問題。

技術領域

本發明涉及計算機視覺、模式識別等技術領域，主要涉及的是監控視頻中行人的身份識別，它在預防犯罪、法醫鑒定和社會保障等方面具有廣泛的應用。

背景技術

與其它生物識別技術(例如人臉、指紋和虹膜)不同，步態是一種獨特的生物識別功能，它可以在遠處識別，而無需受試者的配合。因此步態識別具有較高的實用價值和廣闊的應用前景。

在過去的十幾年里，步態識別取得了一系列的進展，但是對于步態識別的研究仍然停留在單個行人的步態識別階段，多人步態識別研究領域仍然屬于空白。目前，單人步態識別方法主要可以分為兩類：基于模型的方法和基于外觀的方法。基于模型的方法通過對人體結構和不同身體部位的局部運動模式進行建模來提取特征。一些早期的基于模型的方法甚至手動標記不同的身體部位，或使用某些特定的設備來獲取人體的關節位置，具有沉重的計算代價。后來隨著姿勢估計的發展，Liao等人在2017年提出了基于姿勢的步態識別方法取得了巨大的進展。

基于外觀的方法通常使用人體輪廓作為原始輸入數據。步態能量圖像是最流行的特征之一，它通過對齊輪廓并將其平均來獲得，具有較低的計算成本并且可以實現相對較高的識別率。但是這種方法性能仍然不夠好，因為步態能量圖像會導致某些時間信息丟失。最近，一些研究人員直接使用人體輪廓作為輸入數據，而不是使用它們的平均值。Wu等人在2017年首次使用深度學習模型從人體輪廓序列中提取特征。2018年Chao等人將步態視為由獨立輪廓而非連續剪影組成的集合，以從該集合中提取不變特征。通過實驗表明，幀之間的時間特征可以比步態能量圖像取得更好的性能。

單人步態識別技術已經取得了巨大的進展，但是在真實的應用場景下，監控視頻中不可能只有單個行人的出現，因此為了解決這種問題，提出了一種基于時空混合特征的多人步態識別方法。

發明內容

發明目的：在真實應用場景下，監控視頻中不僅包括單人行走條件下的步態形式，還包括多人行走條件下的步態形式。但是目前的步態識別技術仍然停留在實驗室階段，也就是說視頻中不能出現除了目標以外的行人或運動物體。因此本發明希望通過將行人分割與跟蹤和步態識別技術相結合，解決多人步態識別問題，從而使得步態識別技術能夠真正落到實處，為社會保障方面節省更多的資源。

1、一種基于時空混合特征的多人步態識別方法，其特征在于，包括以下步驟：

步驟1.1：使用行人分割與跟蹤方法對原始視頻幀中的行人進行分割與跟蹤；

步驟1.2：將每個行人的步態輪廓序列分別保存至對應文件夾中；

步驟1.3：選擇要識別的行人步態輪廓序列，通過步態識別網絡提取特征；

步驟1.4：通過歐氏距離度量，輸出行人的身份信息。

2、根據權利要求1所述的一種基于時空混合特征的多人步態識別方法，其特征在于，所述步驟1.1中行人分割與跟蹤的方法如下：

步驟2.1：利用2個三維卷積層對視頻幀進行特征提取；

步驟2.2：采用混合掩膜網絡，進行行人檢測與分割；

步驟2.3：通過關聯頭擴展混合掩膜網絡，將混合掩膜網絡產生的區域對應的特征圖作為輸入并且提取每個區域的關聯向量，關聯向量之間的歐幾里得距離用于將隨時間變化的檢測關聯到軌跡中，從而實現行人的跟蹤。