[發明專利]基于自學習局部特征表征的視頻行人再識別方法及系統

有效

• 申請號: 202010195886.5
• 申請日: 2020-03-19
• 公開（公告）號: CN111401267B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 梁姣;張偉;張倩;宋然;顧建軍
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于自學習局部特征表征的視頻行人再識別方法及系統，包括：分別獲取兩段設定時間段內包含待識別行人連續變化圖像的視頻信息；采用孿生網絡結構分別對獲取的兩段視頻信息進行處理，得到對齊的表征行人時空特征的矢量，通過對比得到的矢量信息，判斷兩段連續圖像信息中的行人是否為同一個人，實現行人再識別。本發明提出的殘差?循環神經網絡，不僅能提取序列之間相關性，而且在結構上構成殘差網絡，解決了循環神經網絡的梯度消失問題，加強空間特征和時間特征的融合。

技術領域

本發明涉及行人再識別技術領域，尤其涉及一種基于自學習局部特征表征的視頻行人再識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

幾年來，隨著社會的發展和科技的進步，人們越來越重視公共場所的安全問題，大量的監控攝像機被安置在各種公共場所有效的識別特定目標或人物。在很多公安刑偵工作中，會從大量的監控錄像中查找犯罪嫌疑人；在大型商場等人流量較多的公共場所，可以通過監控攝像頭尋找走失的老人、兒童等。

行人再識別是判斷出現在兩個視野范圍不重疊的攝像頭下的視頻段里的行人是否為同一行人。在實際應用場合中，由于監控攝像機的背景環境差異、行人姿態變化、障礙物的遮擋、圖片(視頻)分辨率低、相機的視角差異等各種因素的影響，使得行人再識別仍然面臨很大的挑戰。近年來，隨著深度學習和神經網絡的發展、監控攝像頭的普遍應用，行人再識別受到了更廣泛的關注。

在過去，行人再識別主要是基于單幀或多幀圖片的行人再識別，基于圖片的行人再識別現已達到很高的首位命中率，并且單張圖片包含的行人信息有限，很難再有進一步的提升。由于監控錄像的最直接內容是連續的視頻圖像信息，并且視頻比圖片包含更多的行人信息(不僅擁有行人的空間特征，在時間上也具有相關性)，所以視頻作為的行人再識別的輸入更全面、更高效；但是，視頻信息不僅包含了更多有用的行人信息，也包含了更多的干擾信息，這對基于視頻的行人再識別帶來更大的挑戰。發明人發現，現階段基于視頻的行人再識別首位命中率遠遠低于基于圖片的行人再識別的首位命中率，已有的基于視頻的行人再識別方法主要由卷積神經網絡模型或卷積神經網絡-循環神經網絡模型提取行人特征，然后通過距離尺度判斷是否為同一行人。而這些模型提取的行人特征或是基于整張圖片的全局特征，或是基于固定的圖片切割、行人模型分塊的局部特征，并不能很準確的對齊表征每個行人特有的局部特征，這樣就不能準確清楚的判斷兩個行人是否為同一個人。

發明內容

有鑒于此，本發明提出了一種基于自學習局部特征表征的視頻行人再識別方法及系統，將行人的空間特征與時間空間融合，在自學習底層的深度局部特征基礎上構造表征行人的全局特征，再進行行人特征相似性衡量，判斷兩段視頻中包含的行人是否為同一人。

為了實現上述目的，在一些實施方式中，采用如下技術方案：

基于自學習局部特征表征的視頻行人再識別方法，包括：

分別獲取兩段設定時間段內包含待識別行人連續變化圖像的視頻信息；

采用孿生網絡結構分別對獲取的兩段視頻信息進行處理，得到對齊的表征目標行人時空特征的矢量，通過對比得到的矢量信息，判斷兩段連續圖像信息中的行人是否為同一個人，實現行人再識別；

其中，每一段視頻信息的處理過程包括：

通過神經網絡提取待識別行人的空間特征，并在空間特征的基礎上融合時序特征，得到時空特征；通過學習描述局部關鍵信息點的聚類中心，得到具有語義信息的局部特征，在局部特征基礎上表征待識別行人的本質特征。

在另一些實施方式中，采用如下技術方案：

一種基于自學習局部特征表征的視頻行人再識別系統，包括：

用于分別獲取兩個設定時間段內包含待識別行人連續變化圖像的視頻信息的裝置；