[發明專利]一種基于注意力機制與空間幾何約束的行人重識別方法

在審

• 申請號: 202110096021.8
• 申請日: 2021-01-25
• 公開（公告）號: CN112818790A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 馬淼;王云濤;潘海鵬
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 金祺

1.一種基于注意力機制與空間幾何約束的行人重識別方法，其特征在于：包括如下步驟：

S1、獲取行人圖像并輸入到上位機中；

S2、建立和訓練行人重識別模型，行人重識別模型包括ResNet50+SEnet網絡和特征處理模塊，特征處理模塊包括全局特征分支和局部特征分支；

S3、行人重識別并輸出結果：

S3.1、在行人圖像中指定目標行人圖像，然后將行人圖像，包括指定的目標行人圖像，輸入到行人重識別模型；

S3.2、通過ResNet50+SEnet網絡提取行人圖像的空間特征，將空間特征輸入特征處理模塊；

S3.3、空間特征通過全局特征分支得到256維全局特征，同時空間特征通過局部特征分支得到15個256維局部特征，然后將256維全局特征和15個256維局部特征相互融合計算得到目標行人的身份特征和各行人圖像對應的行人身份特征；

S3.4、計算目標行人的身份特征與各行人圖像對應的行人身份特征的歐氏距離，并從低到高排序，排序過程中去除與目標行人圖像同一相機拍攝的行人圖像的計算結果，將排序結果作為行人重識別結果并在上位機中輸出。

2.根據權利要求1所述的一種基于注意力機制與空間幾何約束的行人重識別方法，其特征在于，S2包括以下步驟：

S2.1、所述建立行人重識別模型包括建立行人重識別模型和訓練使用的行人重識別模型，訓練使用的行人重識別模型包括ResNet50+SEnet網絡和訓練使用的特征處理模塊：

S2.1.1、建立ResNet50+SEnet網絡

輸入的行人圖像先經過第1組卷積，然后經過4組卷積+注意力模塊的組合輸出行人的空間特征；

5組卷積均為殘差卷積神經網絡ResNet50的卷積，第1組卷積有1個卷積層且不含殘差結構，后4組卷積+注意力模塊的組合中的卷積分別有9、12、18、9個卷積層及對應的殘差結構；

注意力模塊為注意力機制SEnet，計算過程如下：

s₁＝GAP(F)，

s₂＝ReLU(W₁s₁)，

s₃＝Sigmoid(W₂s₂)，

F'＝s₂·F，

其中表示輸入的大小為C×H×W的特征圖，GAP表示全局平均池化，表示全局平均池化后的輸出，表示全連接層FC1的參數，表示經過FC1和ReLU函數處理后的輸出，表示全連接層FC2的參數，表示經過FC2和Sigmoid函數處理后的輸出的通道權重，表示注意力機制SEnet的輸出；

S2.1.2、建立特征處理模塊

所述全局特征分支計算過程如下：

f_g'＝GAP(f_g)

其中f_g表示空間特征，大小為2048×24×12，GAP表示全局平均池化，f_g'表示全局特征，大小為2048維，表示全連接層FC1的參數，表示經過全連接層FC1壓縮后的256維全局特征；

所述局部特征分支計算過程如下：

f_i'＝GAP(f_i)i＝1,2,3,4,5,6

f_l^k＝c(f_i',f_j')k＝1,2,...,14,15,i＜j,j＝2,3,4,5,6

其中f_i表示空間特征分解后的6個子特征塊，大小為2048×4×12，GAP表示全局平均池化，f_i′表示6個子特征塊經過平均池化后輸出的子空間特征，大小為2048維，c表示組合操作，f_l^k表示局部特征，大小為4096維，表示全連接層FC1的參數，表示經過全連接層FC1壓縮后的15個256維局部特征；

S2.1.3、建立訓練使用的特征處理模塊

訓練使用的特征處理模塊包括訓練使用的全局特征分支和訓練使用的局部特征分支，所述全局特征分支增加全連接層FC2成為訓練使用的全局特征分支，計算過程如下：

f′_g＝GAP(f_g)，

其中，表示全連接層FC2的參數，N為訓練集行人身份的數量，y_g表示全連接層FC2輸出的N維全局特征；

所述局部特征分支中增加全連接層FC2建立訓練使用的局部特征分支，計算過程如下：

f_i′＝GAP(f_i)i＝1,2,3,4,5,6，

f_l^k＝c(f_i′,f′_j)k＝1,2,...,14，15,i＜j，j＝2，3，4，5，6，

其中，表示全連接層FC2的參數，N為訓練集行人身份的數量，表示全連接層FC2的輸出的N維局部特征；

然后將訓練使用的全局特征分支輸出的N維全局特征和訓練使用的局部特征分支輸出的N維局部特征相互融合計算行人身份預測結果，計算過程為：

其中，ID表示行人身份預測結果，Softmax表示歸一化指數函數；

S2.2、所述訓練行人重識別模型為：從訓練使用的行人重識別模型獲得pth配置文件，去除pth配置文件中所包含的訓練使用的特征處理模塊中全連接層FC2及全連接層FC2之后部分的參數，然后載入到行人重識別模型中獲得訓練好的行人重識別模型；

S2.2.1、訓練行人重識別模型

1)、建立訓練集、查詢集、測試集

將Market-1501數據集中和DukeMTMC-reID數據集中的行人圖像及對應的標簽分為訓練集、查詢集和測試集，標簽包括行人身份編號、攝像機編號、所在幀的索引；查詢集由待重識別的行人組成，測試集包括查詢集中的行人圖像和不屬于查詢集中的行人圖像；

2)、訓練

將訓練集中的所有圖片進行數據增強后作為訓練使用的行人重識別模型的訓練輸入，數據增強方式采用水平翻轉，隨機裁剪和隨機擦除；訓練的批量大小為32，優化器算法采用隨機梯度下降SGD，所有全連接層的初始學習率設為0.05，所有卷積層的初始學習率設為0.005，并且每經過40次迭代，學習率調整為原來的0.1倍，權重衰減為5×10^-4，訓練共迭代100次；在訓練過程中，使用交叉熵損失函數分別計算訓練使用的全局特征分支與訓練使用的局部特征分支的損失，每張行人圖像的總損失為訓練使用的特征處理模塊的損失之和；

訓練結束后，將ResNet50+SEnet網絡、訓練使用的特征處理模塊的參數保存為pth配置文件，去除pth配置文件中所包含的訓練使用的特征處理模塊中全連接層FC2及全連接層FC2之后部分的參數，然后載入到行人重識別模型中獲得訓練好的行人重識別模型；

S2.2.2、測試行人重識別模型

將查詢集中的行人圖像作為目標行人圖像，查詢集和測試集的行人圖像通過訓練好的行人重識別模型進行測試，測試結果達到了行人重識別準確率的要求。

3.根據權利要求2所述的一種基于注意力機制與空間幾何約束的行人重識別方法，其特征在于：

所述步驟S1獲取行人圖像為攝像頭以及其它監控設備在室外或室內采集獲得視頻圖像文件，使用行人檢測器檢測視頻圖像文件中每一幀圖像中的行人，將檢測得到的行人圖像大小調整為384×192并保存為圖片，圖片以身份編號、攝像機編號和所在幀索引的組合命名。