[發明專利]一種基于不變性特征提取的域泛化行人重識別方法

在審

• 申請號: 202210991899.2
• 申請日: 2022-08-17
• 公開（公告）號: CN115410223A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 郭迎春;何歡;姚爽;閻剛;于洋;呂華;朱葉;郝小可;師碩;于明
• 申請（專利權）人: 河北工業大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/40;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于不變性特征提取的領域泛化行人重識別方法，該方法包括以下內容：

構建識別模型，所述識別模型以ResNet50網絡為主干網絡，還包括注意力感知的不變性特征提取模塊，所述ResNet50網絡具有依次串聯的N個殘差單元，在前N-1個殘差單元的輸出處均連接一個注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出不接注意力感知的不變性特征提取模塊，最后一個殘差單元的輸出連接平均池化層、批量歸一化層和全連接層；

所述注意力感知的不變性特征提取模塊用于提取領域不變特征，包括：實例歸一化層、分組白化層、空間注意力和通道注意力，將殘差單元的輸出特征進行實例歸一化操作IN，獲得實例歸一化特征X(IN)，將實例歸一化特征X(IN)進行空間注意力操作SA，得到相應的空間注意力權重，將空間注意力權重和實例歸一化特征二者相乘獲得加了權重的空間注意力特征X(IN)_SA，再將實例歸一化特征X(IN)和加了權重的空間注意力特征X(IN)_SA相加得到階段特征；將階段特征經分組白化層進行分組白化操作GW后獲得分組白化特征X(GW)，將白化特征X(GW)進行通道注意力操作，得到相應的通道注意力權重，將分組白化特征X(GW)和通道注意力權重二者相乘，獲得加了權重的通道注意力特征X(GW)_CA，再將分組白化特征X(GW)和加了權重的通道注意力特征X(GW)_CA相加，得到最終特征，輸入到下個階段；

將多個數據集作為源域數據集進行識別模型訓練，在每次迭代中對每個數據集選擇一個批次進行一次迭代，將批次圖像inputs輸入到識別模型進行訓練。

2.一種基于不變性特征提取的領域泛化行人重識別方法，以ResNet50網絡為主干網絡，ResNet50包括卷積+池化層、以及若干個殘差塊的組合構成的多個殘差單元，多個殘差單元依次記為stage1，stage2，stage3，stage4，具體步驟是：

步驟1，將多個數據集作為源域數據集進行識別模型訓練，在每次迭代中對每個數據集選擇一個批次進行一次迭代，將批次圖像inputs輸入到ResNet50網絡的卷積+池化層中進行處理，處理后得到輸入圖像的特征表示x₀；

步驟2，將特征表示x₀輸入到stage1中得到輸出特征x₁，對輸出特征執行注意力感知的不變性特征提取模塊Module(·)，得到不變性特征f'₁；

步驟2.1，使用實例歸一化層對特征x₁進行處理得到實例歸一化特征

步驟2.2，使用空間注意力模塊提取對應的空間注意力權重根據空間注意力權重與實例歸一化特征得到空間注意力特征

步驟2.3，將實例歸一化特征與空間注意力特征相加得到特征

步驟2.4，將特征f₁輸入到分組白化層得到分組白化特征

步驟2.5，并使用通道注意力模塊提取對應的通道注意力權重根據通道注意力權重與分組白化特征得到通道注意力特征

步驟2.6，將分組白化特征與通道注意力特征相加得到特征

步驟3，將特征表示f′₁輸入到stage2中得到輸出特征x₂，對輸出特征執行注意力感知的不變性特征提取模塊Module(·)，得到不變性特征f'₂；

步驟3.1，使用實例歸一化層對特征x₂進行處理得到實例歸一化特征

步驟3.2，使用空間注意力模塊提取對應的空間注意力權重根據空間注意力權重與實例歸一化特征得到空間注意力特征

步驟3.3，將實例歸一化特征與空間注意力特征相加得到特征

步驟3.4，將特征f₂輸入到分組白化層得到分組白化特征

步驟3.5，使用通道注意力模塊提取對應的通道注意力權重根據通道注意力權重與分組白化特征得到通道注意力特征

步驟3.6，將分組白化特征與通道注意力特征相加得到特征

步驟4，將特征表示f'₂輸入到stage3中得到輸出特征x₃，對輸出特征執行注意力感知的不變性特征提取模塊Module(·)，得到不變性特征f'₂；

步驟4.1，使用實例歸一化層對特征x₃進行處理得到實例歸一化特征

步驟4.2，使用空間注意力模塊提取對應的空間注意力權重根據空間注意力權重與實例歸一化特征得到空間注意力特征

步驟4.3，將實例歸一化特征與空間注意力特征相加得到特征

步驟4.4，將特征f₃輸入到分組白化層得到分組白化特征

步驟4.5，使用通道注意力模塊提取對應的通道注意力權重根據通道注意力權重與分組白化特征得到通道注意力特征

步驟4.6，將分組白化特征與通道注意力特征相加得到特征

步驟5，將特征f'₃輸入stage4中，得到輸出特征f'₄，將特征f'₄進行廣義平均池化GeM，得到三元組特征f_tri，計算三元組損失

其中，B表示批次內樣本的數量，和表示樣本b對其最硬正樣本和最硬負樣本之間的歐幾里得距離，α＝0.3表示閾值，[·]₊表示max(·,0)；

步驟6，將三元組特征f_tri經過批量歸一化層和全連接層得到分類特征f_cls，計算分類損失

其中，p_b表示預測概率，q_b表示樣本b的真實標簽y與標簽label_b∈[1,Class]是否相等，Class表示類別數量。