[發明專利]一種基于多尺度卷積特征融合的行人重識別方法

在審

• 申請號: 202010460003.9
• 申請日: 2020-05-27
• 公開（公告）號: CN111709311A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 廖開陽;鄧軒;鄭元林;章明珠;曹從軍;李妮
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發明公開了一種多尺度卷積特征融合的行人重識別方法，首先對行人圖片預處理；將Resnet?50卷積神經網絡作為骨干網絡構建多層卷積神經網絡，將處理后的圖像作為樣本數據輸入到多層卷積神經網絡中，得到卷積后的特征圖；構建多尺度卷積神經單元；利用多尺度卷積神經單元計算原始特征距離，給定查詢圖像，通過將其k?倒數最近鄰編碼為單個向量來計算k?倒數特征，該單個矢量用于在雅克比距離下重新排序，最終距離計算為原始距離與雅克比距離的組合；本發明方法大幅度提高行人重識別的精度，并能廣泛應用于行人重識別領域；本發明基于多尺度卷積特征融合的行人重識別算法也適合于圖像檢索領域，能大幅提高圖像檢索的精度。

技術領域

本發明屬于圖像分析及圖像識別技術領域，具體涉及一種基于多尺度卷積特征融合的行人重識別方法。

背景技術

行人重識別的目的是識別在不同位置以及不同攝像機視圖中拍攝到的相同的行人并廣泛應用于行人檢索和攝像機跟蹤任務的視頻分析中。當在眾多的視頻序列中搜索特定的行人時，利用行人重識別系統可以節省時間和成本，因此利用身體外觀的行人重識別已經受到越來越多的關注，但是由于行人容易受到姿態、照明、背景以及遮擋等方面的影響，使得行人重識別方法在本質上具有挑戰性。

目前，具有深層的卷積神經網絡的行人重識別取得了進展并且取得了高的識別率，許多先進的方法都設計了復雜的網絡結構并連接了多分支網絡，這些工作都集中在學習對行人姿勢、照明和視角變化具有魯棒性的判別性特征表示，以使用卷積神經網絡提高行人的識別率。因為行人重識別的識別率的高低很大程度上取決于行人特征的魯棒性，獲取的行人圖像的特征表示越全面，得到的行人重識別的精確度越高。為了更好的提高模型的魯棒性，一些有效的訓練技巧也被應用到行人重識別領域。因為隨著視角的變化，行人的面部、手和腳等身體部位極不穩定，而卷積神經網絡主要集中在行人的主干部分，因此抑制了對行人其他身體部位的描述；Fan等人(Xing Fan,Hao Luo,Xuan Zhang,et al.SCPNet:Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification[C]//Asian Conference on Computer Vision.Springer,Cham,2018)提出了一個空間通道并行網絡(Spatial-Channel Parallelism Network,SCPNet)，提供了行人身體某一塊空間區域的特征，并利用空間-通道相關性來監督網絡學習一個魯棒的特征，該方法在訓練階段有效地使用局部特征來利用全局特征。Dai等人(Z.Dai,M.Chen,X.Gu,S.Zhu and P.Tan,Batch DropBlock Network for Person Re-Identification andBeyond,2019IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South),2019,pp.3690-3700.)提出了批處理丟棄塊(Batch DropBlock,BDB)網絡，該模型以ResNet-50作為骨干網絡，將骨干網絡作為全局分支和特征刪除分支組成兩個分支網絡，其中全局分支主要針對行人圖像的全局特征提取，特征擦除分支主要通過批量隨機擦除所有輸入特征圖的相同區域，以加強對行人圖像局部區域特征的學習功能，最后，網絡將兩個分支得到的特征進行串聯，得到了更全面和具有判別力的特征表示。

深度卷積神經網絡已經證明了行人重識別的突破精度，從CNN學到的一系列特征提取器已經用于其他計算機視覺任務。來自CNN不同層次的特征旨在編碼不同層次的信息，一系列從低層到高層的特征提取器可以從大規模的訓練數據中以端到端的方式自動學習。不同層次的特征有著各自不同的特點，低層特征分辨率更高，包含更多位置和細節信息，用于度量細粒度的相似度，但是由于其經過的卷積層數較低，包含噪聲較多，語義性不強，容易受到背景混亂和語義雜波的影響。高層特征具有更強的語義信息，用于度量語義的相似度，但其分辨率較低，對細節的感知能力較差，不足以描述圖像細粒度的細節，因此如何將兩者有效結合是提高識別準確率的關鍵。