[發明專利]一種針對損壞圖像的行人重識別方法及系統

在審

• 申請號: 202310099180.2
• 申請日: 2023-01-30
• 公開（公告）號: CN116206330A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 熊煒;劉粵;許婷婷;孫鵬;趙迪;李利榮;萬相奎
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/52;G06V10/80;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種針對損壞圖像的行人重識別方法，其特征在于：將損壞圖像輸入損壞圖像行人重識別網絡，提取相對原始非損壞圖像不變的行人表征；

所述損壞圖像行人重識別網絡，以ResNet50作為骨干網絡，其骨干網絡的四個Layer層之后均添加設置了平滑極大單元的風格歸一化和恢復模塊SM-SNR，所述SM-SNR，是基于風格歸一化和恢復模塊SNR，并將該模塊中平均池化后的ReLU層替換成平滑極大單元SMU，構成所述的平滑風格歸一化和恢復模塊；最后一個SM-SNR后設置有全局注意力模塊GAM，同時刪除ResNet50尾部的池化層和全連接層，最后一個layer層即layer4的步長設置為1；輸出相對原始非損壞圖像不變的行人表征。

2.根據權利要求1所述的針對損壞圖像的行人重識別方法，其特征在于：所述SM-SNR以特征圖F₀∈R^C×H×W作為輸入，作為輸出，其中，C、H和W分別表示為特征圖的通道數、高度和寬度；

首先對特征圖進行風格歸一化處理，通過實例規范化層IN來減少輸入特征域的差異性，得到風格歸一化后的特征

然后通過殘差特征提取層，將F₀與相減得到殘差特征R，并通過通道注意力層自適應地從殘差特征R中提取與ID相關的特征R⁺，并將其恢復至網絡中；

最后通過融合層，將捕捉到的R⁺添加至風格歸一化后特征后，得到還原特征

3.根據權利要求1所述的針對損壞圖像的行人重識別方法，其特征在于：所述平滑極大單元SMU，平滑激活函數通過Maximum函數的平滑近似來實現，使用xerf(μx)作為平滑函數，以達到對Maximum函數近似的目的。

4.根據權利要求1所述的針對損壞圖像的行人重識別方法，其特征在于：所述全局注意力模塊GAM，以第四個SM-SNR模塊后的輸出特征F₁∈R^C×H×W為輸入，F₂為處于中間狀態時的特征，F₃為最終輸出特征；

其中，M_C是通道注意力圖，M_S是空間注意力圖，則表示按元素進行乘法操作；在通道注意力中，使用三維排列在三個維度上保留信息；再通過一個多層感知器MLP來放大跨維通道-空間的依賴性；將F₁與M_C(F₁)按元素進行乘法操作后得到了F₂；空間注意力以F₂為輸入，使用兩個7×7Conv進行空間信息融合；同時，通過刪除最大池化以此保留更多的行人相關特征；最后將F₂與M_S(F₂)按元素進行乘法操作后得到了具有多維度信息的特征F₃。

5.根據權利要求1所述的針對損壞圖像的行人重識別方法，其特征在于：所述GAM后通過設置的廣義均值池化層GeM獲得全局特征F，用于triplet?loss進行度量學習；所述F通過設置的BNNeck層歸一化處理得到預設大小的特征f，f通過一致性ID?Loss優化樣本在特征空間中的距離，監督網絡的訓練；

所述一致性ID?Loss，利用原始圖像樣本x_o與増廣圖像樣本的后驗分布之間的JS散度，使所述損壞圖像行人重識別網絡對損壞圖像響應更加平滑。