[發明專利]融合全局和局部特征的行人重識別方法、存儲器及處理器

有效

• 申請號: 202110539959.2
• 申請日: 2021-05-18
• 公開（公告）號: CN113269070B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉歆;劉宏偉;趙義銘;姜美蘭;錢鷹;黃江平
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/42;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種融合全局和局部特征的行人重識別方法，其特征在于：包括以下步驟：

S1：輸入待識別的圖像，將其預處理得到標準輸入圖像；

S2：通過卷積神經網絡來分別提取輸入圖像的全局特征和局部特征；其中卷積神經網絡采用ResNet-50與SE?Block結合的神經網絡，將卷積神經網絡最后一層的卷積窗口移動步長調整為1，并將卷積后得到的特征圖進行廣義平均池化，從而得到全局特征；采用與全局特征提取共享權重的卷積神經網絡得到特征圖，然后將特征圖按照水平方向分成均勻分成6個部分，對各個部分分別進行廣義平均池化，從而提取局部特征；所述廣義平均池化公式為：

其中，H和W代表特征圖的高度和寬度，x_c，i，j代表特征圖第c個通道上，垂直方向第i個，水平方向第j個值，p_c是池化參數，當p_c＝1時，該公式等價于全局平均池化；當p_c→∞時，該公式等價于全局最大池化；

S3：將全局特征和局部特征分別輸入批量歸一化層與1×1卷積層對特征進行降維；

S4：將全局特征和局部特征進行融合，得到融合后的行人特征；

S5：計算融合特征與圖像庫中各圖像對應特征的距離，用于表示圖像間的相似度；將圖像庫中的圖像按照與輸入圖像的相似度排序，將排序結果作為行人重識別模型的輸出。

2.根據權利要求1所述的融合全局和局部特征的行人重識別方法，其特征在于：步驟S4中所述將全局特征和局部特征進行融合，具體為將全局特征和局部特征按照通道的方向進行串聯拼接。

3.一種融合全局和局部特征的行人重識別模型的訓練方法，其特征在于：包括以下步驟：

S11：獲取行人重識別數據集，將數據集劃分為訓練集和測試集，在訓練過程中每次隨機選擇P位行人，每個行人隨機挑出K張圖像，作為輸入圖像；

S12：通過卷積神經網絡來提取輸入圖像的特征，所述卷積神經網絡的池化層分別提取輸入圖像的全局特征和局部特征；

S13：將全局特征和局部特征分別輸入批量歸一化層與1×1卷積層對特征進行降維；

S14：將局部特征與局部特征進行1×1的卷積和批量歸一化后計算標簽平滑身份損失、軟間隔自適應權重三元組損失以及中心損失；

所述標簽平滑身份損失為：

其中，N是在訓練時的行人ID總數，p_i是網絡預測輸入圖像為第i類的概率，y是該圖像的實際類別；當輸入圖像到行人重識別模型后，得到對應于所有類別的概率p_i；∈是一個小常數，用來削弱ReID模型對訓練集標簽的可信度；

所述軟間隔自適應權重三元組損失為：

其中，(w_p,w_n)分別表示正負樣本對的權重，(x_a,x_p,x_n)表示一組三元組，d表示距離函數；

所述中心損失為：

其中，B表示一個訓練批次的樣本數量，x_i表示一個訓練批次中第i個樣本的特征，表示第i個樣本對應身份y_i的類中心；

整體損失函數為：

α和β分別是軟間隔自適應權重三元組損失和中心損失的比例因子；

S15：最小化多個損失函數之和來調整行人重識別網絡參數；

S16：重復S11～S15，直到標簽平滑身份損失、軟間隔自適應權重三元組損失以及中心損失基本不再變化。

4.根據權利要求3所述的融合全局和局部特征的行人重識別模型的訓練方法，其特征在于：步驟S11中，所述獲取行人重識別數據集，具體為：通過多個攝像頭獲取原圖像，然后檢測出原圖像中的行人圖像部分，并將檢測出的所有行人圖像構建為數據集。

5.一種計算機可讀存儲介質，其特征在于：所述計算機可讀存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1-2任一所述的融合全局和局部特征的行人重識別方法。

6.一種處理器，其特征在于：用于運行程序，其中，所述程序被運行時用于執行如權利要求1-2任一所述的融合全局和局部特征的行人重識別方法。