[發明專利]基于姿態估計與視點機制融合的行人再識別方法

在審

• 申請號: 201910287259.1
• 申請日: 2019-04-08
• 公開（公告）號: CN110008913A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 徐曾春;裴嘉震;胡平
• 申請（專利權）人: 南京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明設計一種基于姿態估計與視點機制融合的行人再識別方法。用于解決各種需要進行刑偵，失蹤人員尋找問題，為了達到該目的，該方法通過考慮行人的姿勢結構信息，采用姿勢估計網絡Openpose提取行人關鍵點，同時考慮相機拍攝的視點位置，根據圖像的拍攝的角度，生成行人身體關鍵區域，幫助對齊圖像中的身體區域特征并可以避免相機拍攝到行人側面時行人關鍵區域被遮擋等問題。最終，通過特征融合子網絡將局部特征圖與全局特征圖進行融合來合并不同語義級別的區域特征。通過對行人數據集的訓練，得到對應的模型，通過加載模型并采用本文的神經網絡結構預測出所有與目標行人匹配的行人。

技術領域

本發明涉及計算機視覺與圖像檢索領域，具體設計了一種基于姿態估計與視點機制融合的行人再識別方法。

背景技術

行人再識別(Person re-identification，Re-ID)起源于多攝像頭跟蹤，用于判斷非重疊視域中拍攝到的不同圖像中的行人是否屬于同一個人。行人再識別涉及計算機視覺、機器學習、模式識別等多個學科領域，可以廣泛應用于智能視頻監控、安保、刑偵等領域。近年來，行人再識別技術引起了學術界和工業界的廣泛關注，已經成為計算機視覺領域的一個研究熱點，由于行人兼具剛性和柔性物體的特性，外觀易受穿著、姿態和視角變化以及光照、遮擋、環境等各種復雜因素的影響，這使得行人再識別面臨著巨大的技術挑戰。

行人再識別由行人檢測和行人識別發展而來，可以看作兩者功能的“結合”。傳統的行人檢測的目的是判斷輸入的圖片或者視頻中是否有行人，主要用于智能駕駛，輔助駕駛和智能監控等相關領域；行人識別是從輸入的圖片或者視頻中識別指定的人，主要用于圖像檢索等問題；而行人再識別是從沒有任何重區域的不同攝像頭的視頻中識別出同個人，主要用于刑偵、尋找失蹤人員等工作。在一定時間內，一個行走的行人可能會經過相鄰的若干個攝像頭，如何識別出在不同攝像頭下出現的同一個人，是行人再識別所研究的重點。

發明內容

本發明設計一種基于姿態估計與視點機制融合的行人再識別方法。用于解決各種需要進行刑偵，失蹤人員尋找問題，為了達到該目的，該方法通過考慮行人的姿勢結構信息，采用姿勢估計網絡Openpose提取行人關鍵點，同時考慮相機拍攝的視點位置，根據圖像的拍攝的角度，生成行人身體關鍵區域，幫助對齊圖像中的身體區域特征并可以避免相機拍攝到行人側面時行人關鍵區域被遮擋等問題。最終，通過特征融合子網絡將局部特征圖與全局特征圖進行融合來合并不同語義級別的區域特征。通過對行人數據集的訓練，得到對應的模型，通過加載模型并采用本文的神經網絡結構預測出所有與目標行人匹配的行人。

本發明所述的方法首先對圖像中的行人進行姿態估計與視圖判別，根據姿態估計得到的人體關節點與圖像視圖方向將身體區域劃分為6個或3個子區域，從局部區域中提取行人局部特征，同時從完整圖像中提取全局特征，最終通過特征融合將全局與局部特征融合得到最終的特征表示，采用歐幾里得距離進行再識別判別。在訓練過程中，使用二元交叉熵損失來進行類別預測。

區別于現有的處理方法，本發明的有益效果是：1)在CNN框架中考慮人體結構信息，緩解行人由姿勢變化造成的對齊困難。2)考慮相機視點信息，幫助本文模型規避由身體部位被遮擋而導致的姿勢估計不準確。3)分別從全局圖像與局部圖像中學習特征表示，并提出特征融合網絡將全局與局部的特征融合以獲取更具魯棒性的特征表示。使行人再識別的效率與精度又大大地提升。同時能夠較好地克服行人姿態變化、視角變化的檢測難度大的缺點。

附圖說明

圖1是本發明所述的一種基于姿態估計與視點機制融合的行人再識別方法。

具體實施方式

請參閱圖1所示：

1、一種基于姿態估計與視點機制融合的行人再識別方法，其特征在于，所述方法包括以下步驟：

步驟一：行人再識別數據集采集，獲取行人再識別公開數據集，區分訓練集與測試集，進入步驟二；