[發(fā)明專利]基于多粒度深度特征融合的多尺度行人重識(shí)別方法

在審

• 申請?zhí)枺?/td>: 202110218857.0
• 申請日: 2021-02-26
• 公開（公告）號(hào): CN112818931A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 云霄;葛敏;張曉光;周成峰;周恒;李岳健
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 施昊

1.基于多粒度深度特征融合的多尺度行人重識(shí)別方法，其特征在于，包括以下步驟：

(1)挑選行人重識(shí)別數(shù)據(jù)集，對數(shù)據(jù)集中的訓(xùn)練集進(jìn)行預(yù)處理；

(2)選取殘差網(wǎng)絡(luò)作為基礎(chǔ)骨架，包含全局粗粒度融合學(xué)習(xí)分支、局部粗粒度融合學(xué)習(xí)分支以及局部注意力細(xì)粒度融合學(xué)習(xí)分支；

(3)采用全局粗粒度融合學(xué)習(xí)分支學(xué)習(xí)行人多層次粗粒度特征信息；

(4)采用局部粗粒度融合學(xué)習(xí)分支對局部區(qū)域提取行人局部特征；

(5)采用局部注意力細(xì)粒度融合學(xué)習(xí)分支，引入注意力機(jī)制消除背景干擾，提取行人細(xì)粒度局部特征；

(6)采用Softmax損失和三元組損失作為重識(shí)別網(wǎng)絡(luò)監(jiān)督器，訓(xùn)練行人重識(shí)別網(wǎng)絡(luò)模型；

(7)將不同分支的網(wǎng)絡(luò)特征進(jìn)行融合，作為行人的最終描述符，將待查詢行人圖像作為行人重識(shí)別網(wǎng)絡(luò)模型的輸入，從候選圖庫中進(jìn)行檢索，計(jì)算待查詢行人圖像與候選圖庫中所有圖像之間的特征距離，根據(jù)特征距離進(jìn)行排序，特征距離最近的候選圖庫中的圖像與待查詢行人圖像為同一行人的數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述基于多粒度深度特征融合的多尺度行人重識(shí)別方法，其特征在于，在步驟(1)中，對訓(xùn)練集進(jìn)行預(yù)處理的步驟如下：

(1a)對訓(xùn)練集中的行人圖像尺寸進(jìn)行固定；

(1b)對訓(xùn)練集中每個(gè)身份的樣本進(jìn)行水平翻轉(zhuǎn)、旋轉(zhuǎn)、隨機(jī)裁剪以及歸一化處理，從而增加訓(xùn)練樣本數(shù)量。

3.根據(jù)權(quán)利要求1所述基于多粒度深度特征融合的多尺度行人重識(shí)別方法，其特征在于，在步驟(2)中，選取殘差網(wǎng)絡(luò)作為基礎(chǔ)骨架的步驟如下：

(2a)對ResNet50主干網(wǎng)絡(luò)第4殘差階段進(jìn)行了參數(shù)細(xì)化；

(2b)對于全局粗粒度融合學(xué)習(xí)分支，從ResNet50 stage1,2,3開始，繼續(xù)保留ResNet50statge4,5，將得到的特征圖使用全局平均池化處理，得到2048維的全局特征向量f_{g_2048}；

(2c)對于局部粗粒度融合學(xué)習(xí)分支，首先對ResNet50 stage3的特征圖進(jìn)行水平劃分兩等分，同時(shí)在ResNet50 stage5處將下采樣層步長設(shè)置為1；其次使用全局平均池化層，得到各分區(qū)的局部特征f_{p_2048_1}和f_{p_2048_2}；

(2d)對于局部注意力細(xì)粒度融合學(xué)習(xí)分支，在局部粗粒度融合學(xué)習(xí)分支基礎(chǔ)上引入卷積注意力模塊，得到各分區(qū)的局部特征f_{pab_2048_1}和f_{pab_2048_2}。

4.根據(jù)權(quán)利要求3所述基于多粒度深度特征融合的多尺度行人重識(shí)別方法，其特征在于，在步驟(3)中，所述采用全局粗粒度融合學(xué)習(xí)分支學(xué)習(xí)行人多層次粗粒度特征信息的方法為，首先，將f_{g_2048}作為最后的行人特征描述符，使用三元組損失函數(shù)進(jìn)行訓(xùn)練；其次，使用Conv1×1處理f_{g_2048}，得到512維的特征向量f_{g_512}，并使用Softmax損失函數(shù)進(jìn)行訓(xùn)練。

5.根據(jù)權(quán)利要求3所述基于多粒度深度特征融合的多尺度行人重識(shí)別方法，其特征在于，在步驟(4)中，所述采用局部粗粒度融合學(xué)習(xí)分支對局部區(qū)域提取行人局部特征的方法為，首先，將f_{p_2048_1}作為最后的行人特征描述符，直接使用三元組難負(fù)樣本損失函數(shù)進(jìn)行訓(xùn)練；其次，依次使用批處理歸一化層、非線性激活函數(shù)ReLU、Dropout層和批處理歸一化層處理f_{pab_2048_2}；最后，通過Conv1×1得到512維的f_{p_512_1}和f_{p_512_2}，使用Softmax損失函數(shù)進(jìn)行訓(xùn)練。