[發明專利]基于外貌特征緊湊表示的視頻行人再識別方法及系統

在審

• 申請號: 201710160916.7
• 申請日: 2017-03-17
• 公開（公告）號: CN107122707A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 張偉;胡勝男;馬靜;李雪奧
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司37221
• 代理人: 張勇

技術領域

本發明屬于視頻行人識別領域，尤其涉及一種基于外貌特征緊湊表示的視頻行人再識別方法及系統。

背景技術

由于視頻監控、行人跟蹤與檢索近年來的普遍應用，行人再識別技術得到廣泛的關注。針對某個視頻監控攝像頭下出現的目標行人，需要從視頻監控網絡的其他攝像頭下對目標行人進行再次識別，即為行人再識別技術。然而，由于不同攝像頭下的光照變化、行人姿態變化以及背景對行人的遮擋和干擾，這給行人再識別技術帶來極大困難。

常見的行人再識別系統按照輸入格式一般分為兩類：圖像下的行人再識別與視頻下的行人再識別。圖像下的行人再識別技術由于只能從單一的圖像中獲取行人信息，信息量十分有限，因此很難解決遮擋、視角變化、行人姿態變化等問題。另一方面，跟單幅圖像輸入相比較，視頻輸入不僅包含更多的步態時序信息，還提供了各個時間點下更為豐富的外貌特征信息。此外，在絕大多數的實際應用，都是把視頻作為原始輸入，比圖像更直接，也更方便。因此，視頻下的行人再識別技術比圖像下的行人再識別具有更大的研究意義。

盡管視頻提供了更為豐富的時序以及外貌信息，但是處理難度也大大增加。目前為止，只有少數的行人再識別技術是針對視頻輸入提出的。這些技術針對行人視頻中的時序信息，比如步態以及身體的運動模式等，提出了不同的算法進行提取與比較。盡管運動信息作為一種生物行為可以用來進行行人判別，但是由于很多人都有相似的行走方式，因此很難作為有效的行人標識來進行再識別任務。此外，行人的步態被認為是不受外貌信息干擾的生物特征，因此很多研究者試圖通過側面投影來對行人步態進行提取，但是由于背景的復雜和干擾物體對行人的遮擋，行人的步態信息很難被提取到。

發明內容

為了解決現有技術的缺點，本發明的第一目的是提供一種基于外貌特征緊湊表示的視頻行人再識別方法。

本發明的一種基于外貌特征緊湊表示的視頻行人再識別方法，包括：

提取行人視頻中的光流曲線，進而得到行人步態的周期曲線，再根據步態周期進行隨機選取行人步態的周期曲線中若干關鍵幀；

將選取的每個關鍵幀輸入卷積神經網絡來對行人外貌特征進行提取；

將提取的所有關鍵幀相對應的行人外貌特征融合為一個特征向量，進而構建出特征池；

提取特征池內的特征向量進行距離尺度算法學習，使得同一行人特征之間的距離減小，而不同行人特征之間的距離增加，然后將距離尺度算法學習后的特征向量進行匹配與排序，從而實現行人的再次識別。

進一步的，選取行人步態的周期曲線中4個關鍵幀。

當每個行人步態的周期曲線上選取4個具有代表性的若干關鍵幀時，行人識別率最高；增加再多的關鍵幀，并不會對結果有明顯的提高，反而會增加數據處理時間，降低數據處理效率。

進一步的，將提取的所有關鍵幀相對應的行人外貌特征融合為一個特征向量的過程中，通過提取每個關鍵幀中的最大值來將每幀中的顯著特征提取并融合。

本發明將多幀的特征融合為一個向量特征，因此是“單一”的，融合過程中通過取每幀中的最大值來將每幀中的顯著特征提取并整合，因此是“信息緊湊”的，這樣能夠避免信息干擾，提高行人識別的準確性及速度。

進一步的，在提取特征池內的特征向量進行距離尺度算法學習的過程中，通過計算一個行人的一組中每個特征向量到另一個行人的一組特征向量的最小距離，并取這些距離的平均值作為兩個行人特征之間的距離。

本發明通過求取特征向量之間的距離，使得同一行人特征之間的距離減小，而不同行人特征之間的距離增加，實現了行人的再次識別，提高了行人識別的準確性。

本發明的第二目的是提供一種基于外貌特征緊湊表示的視頻行人再識別系統。

本發明的一種基于外貌特征緊湊表示的視頻行人再識別系統，包括：

關鍵幀選取模塊，其用于提取行人視頻中的光流曲線，進而得到行人步態的周期曲線，再根據步態周期進行隨機選取行人步態的周期曲線中若干關鍵幀；

行人外貌特征提取模塊，其用于將選取的每個關鍵幀輸入卷積神經網絡來對行人外貌特征進行提取；

特征池構建模塊，其用于將提取的所有關鍵幀相對應的行人外貌特征融合為一個特征向量，進而構建出特征池；

距離尺度算法學習模塊，其用于提取特征池內的特征向量進行距離尺度算法學習，使得同一行人特征之間的距離減小，而不同行人特征之間的距離增加，然后將距離尺度算法學習后的特征向量進行匹配與排序，從而實現行人的再次識別。