[發明專利]基于多粒度深度特征融合的多尺度行人重識別方法

在審

• 申請號: 202110218857.0
• 申請日: 2021-02-26
• 公開（公告）號: CN112818931A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 云霄;葛敏;張曉光;周成峰;周恒;李岳健
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 施昊

本發明公開了基于多粒度深度特征融合的多尺度行人重識別方法，挑選行人重識別數據集，對數據集中的訓練集進行預處理；選取殘差網絡作為基礎骨架，包含全局粗粒度融合學習分支、局部粗粒度融合學習分支以及局部注意力細粒度融合學習分支；采用Softmax損失和三元組損失作為重識別網絡監督器，訓練行人重識別網絡模型；將不同分支的網絡特征進行融合，作為行人的最終描述符，將待查詢行人圖像作為行人重識別網絡模型的輸入，得到行人重識別結果。本發明有效緩解復雜背景或姿勢變化給重識別任務帶來的壓力，提高了識別精度。

技術領域

本發明屬于計算機視覺技術領域，特別涉及了一種行人重識別方法。

背景技術

行人重識別是一種利用計算機視覺算法，根據給定行人的穿著、姿態、發型等信息對跨攝像頭下該行人進行檢索的技術。當確定某一個監控設備中特定行人時，就可以通過該方法從其他無重疊的攝像設備中檢索到該行人，并進行跟蹤識別。近年來，與視頻行人跟蹤和檢測技術相結合，被廣泛的應用于公共場所安全監控。

傳統的研究方法大多基于手工設計特征，然而隨著深度學習的快速發展，這些傳統研究方法逐漸被取代。卷積神經網絡作為深度學習中典型的特征提取方法之一，可從數據樣本中自動學習獲取特征，提升了行人重識別系統性能，因此在該領域中得到了廣泛應用。但是在真實場景中，部署行人重識別系統仍然受到很多因素困擾，例如，從監控設備中獲取到的圖像模糊、行人姿態變化、攝像頭角度不同、遮擋干擾等，從而導致識別率低。

發明內容

為了解決上述背景技術提到的技術問題，本發明提出了基于多粒度深度特征融合的多尺度行人重識別方法。

為了實現上述技術目的，本發明的技術方案為：

基于多粒度深度特征融合的多尺度行人重識別方法，包括以下步驟：

(1)挑選行人重識別數據集，對數據集中的訓練集進行預處理；

(2)選取殘差網絡作為基礎骨架，包含全局粗粒度融合學習分支、局部粗粒度融合學習分支以及局部注意力細粒度融合學習分支；

(3)采用全局粗粒度融合學習分支學習行人多層次粗粒度特征信息；

(4)采用局部粗粒度融合學習分支對局部區域提取行人局部特征；

(5)采用局部注意力細粒度融合學習分支，引入注意力機制消除背景干擾，提取行人細粒度局部特征；

(6)采用Softmax損失和三元組損失作為重識別網絡監督器，訓練行人重識別網絡模型；

(7)將不同分支的網絡特征進行融合，作為行人的最終描述符，將待查詢行人圖像作為行人重識別網絡模型的輸入，從候選圖庫中進行檢索，計算待查詢行人圖像與候選圖庫中所有圖像之間的特征距離，根據特征距離進行排序，特征距離最近的候選圖庫中的圖像與待查詢行人圖像為同一行人的數據。

進一步地，在步驟(1)中，對訓練集進行預處理的步驟如下：

(1a)對訓練集中的行人圖像尺寸進行固定；

(1b)對訓練集中每個身份的樣本進行水平翻轉、旋轉、隨機裁剪以及歸一化處理，從而增加訓練樣本數量。

進一步地，在步驟(2)中，選取殘差網絡作為基礎骨架的步驟如下：

(2a)對ResNet50主干網絡第4殘差階段進行了參數細化；

(2b)對于全局粗粒度融合學習分支，從ResNet50 stage1,2,3開始，繼續保留ResNet50 statge4,5，將得到的特征圖使用全局平均池化處理，得到2048維的全局特征向量f_{g_2048}；