[發明專利]一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法

有效

• 申請號: 202011426322.4
• 申請日: 2020-12-09
• 公開（公告）號: CN112396036B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 鄭偉詩;張鎵偉
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/764;G06V10/74;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，包括下述步驟：用模擬遮擋生成器構建有遮擋的行人圖片集；將原始圖片與有遮擋的行人圖片組成數據集并輸入到空間變換網絡中進行空間變換糾正；通過卷積神經網絡和空間金字塔池化層對糾正后的圖進行多尺度特征提取并合并為定長一維特征向量；將定長一維特征向量通過全連接層得到一個包含K個元素的一維特征向量并進行身份分類訓練，得到訓練好的網絡；用訓練好的網絡提取待查詢的行人圖像的特征并進行相似度匹配。本發明進行多尺度特征提取，通過結合不同尺度的特征圖，使得模型更具魯棒性；還引入了空間變換網絡，可直接嵌入到任意深度網絡模型中進行端到端的訓練。

技術領域

本發明屬于深度學習和計算機視覺的技術領域，具體涉及一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法。

背景技術

行人重識別被認為是一個圖像檢索的子問題，其希望利用計算機視覺技術進行跨攝像頭的追蹤，具體為給出某一張攝像頭下的待查詢行人圖像，從其他非重疊攝像頭拍攝得到的圖像庫中檢索出具有相同身份的行人圖像。該技術被廣泛應用于視頻監控、智能安保等公共安全領域。在過去的幾年中，行人重識別問題得到了廣泛的研究，但它們通常假設圖像庫和待查詢圖像是完整的行人圖像，而實際場景中我們的行人總會不可避免被各種障礙物遮擋、比如車輛、墻壁、其他行人等，這就是有遮擋的行人重識別問題。

針對遮擋行人重識別問題，一些研究者提出了自己的解決方案，概括地說主要有以下幾種：

1)增強訓練樣本，在訓練樣本加入隨機遮擋樣本來提升深度神經網絡對于遮擋行人圖像的識別能力，但是僅僅只是這樣做也會不可避免地由于遮擋而引入了噪聲特征。

2)成對訓練學習，選取一張完整行人圖像和一張被遮擋的行人圖像組成一對輸入數據，分別送入相同/不同的網絡去提取特征，最后根據拉近相同身份的人的特征，拉遠不同身份的人的特征這個原則來指導網絡學習。這種方法能夠有效地區分不同行人的身份，但是它對訓練樣本的組成敏感，訓練樣本的數量不同或者一對輸入數據的兩張圖片選擇不同，可能會很大地影響模型效果。

3)引入人體關鍵點估計模型。通過識別一張圖上人的關鍵點(骨架點)，讓模型能夠只關注人的區域，最后通過提高人的區域的特征權重，大幅降低或去掉非人部分的特征權重，能夠有效地提升識別效果，減輕遮擋因素的干擾。但是這種方法取決于要事先訓練出一個效果優秀的人體關鍵點估計模型，訓練成本稍大。

4)采用圖網絡和人體關鍵點估計結合的方法。先使用人體關鍵點估計模型來學習關鍵點，提取對應關鍵點的語義信息，然后將學到的語義特征作為圖的節點，通過一個方向自適應圖卷積層來學習和傳遞邊緣特征，最后學習兩張圖(兩個人)的節點間的對應關系。這個方法能夠大大提高識別的正確率，但由于同時有圖網絡和人體關鍵點估計、模型較復雜，訓練成本較高。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，能夠以較簡單的模型、較低的訓練成本取得較好的識別效果。

為了達到上述目的，本發明采用以下技術方案：

本發明提供了一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，其特征在于，包括下述步驟：

S1、利用模擬遮擋生成器在一個行人數據集上構建有遮擋的行人圖片；

S2、將原始行人圖片與新生成的有遮擋的行人圖片組成新的數據集，并將新的數據集輸入到空間變換網絡中進行空間變換糾正；所述空間變換網絡用于對新的數據集中的圖片進行自動裁剪、平移、縮放，使圖片只保留人的部分，得到糾正后的圖片；

S3、利用卷積神經網絡和空間金字塔池化層對所述糾正后的圖片進行多尺度特征提取并合成定長一維特征向量；