[發明專利]一種基于人物屬性輔助的跨模態行人重識別方法

在審

• 申請號: 202211523543.2
• 申請日: 2022-12-01
• 公開（公告）號: CN115909407A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 劉峰;鄧可欣;宋婉茹;趙崢來
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/42;G06V10/44;G06V10/80;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 劉艷艷

1.一種基于人物屬性輔助的跨模態行人重識別方法，其特征在于，包括：

獲取待識別的行人圖像；

對所述待識別的行人圖像采用對應的基于ResNet50的主干網絡進行特征提取，得到對應模態特征；

將所述模態特征進行平均池化操作，得到一維特征；

將所述一維特征輸入訓練好的跨模態行人重識別模型；

根據所述跨模態行人重識別模型的輸出，確定行人重識別結果；

其中所述跨模態行人重識別模型的訓練方法包括：

S1獲取跨模態行人圖像數據集，對跨模態行人圖像數據集進行人物屬性標注，得到帶人物屬性標注的跨模態行人圖像數據集；其中所述跨模態行人圖像數據集包括可見光行人圖像數據集和紅外光行人圖像數據集；

S2對所述帶人物屬性標注的可見光行人圖像數據集和紅外光行人圖像數據集采用以雙流網絡形式呈現的ResNet50作為主干網絡進行特征提取，得到多模態共享特征；

S3將所述多模態共享特征進行平均池化操作后采用多層次融合方法進行特征融合，得到融合后的一維特征數據集；

S4利用所述融合后的一維特征數據集對基于ResNet50的跨模態行人重識別模型進行訓練，得到訓練好的跨模態行人重識別模型。

2.根據權利要求1所述的基于人物屬性輔助的跨模態行人重識別方法，其特征在于，獲取跨模態行人圖像數據集，對跨模態行人圖像數據集進行人物屬性標注，包括：

獲取SYSU-MM01數據集來構建跨模態行人圖像數據集，通過對可見光和紅外光兩種模態的圖像對比分析，選取人物屬性采用二值化的標簽進行標注，其中所述人物屬性包括性別、頭發長短、戴眼鏡、戴帽子、穿外套、上衣袖長、下裝長度、褲子、裙子、背包、拎包、挎包。

3.根據權利要求1所述的基于人物屬性輔助的可見光-紅外跨模態行人重識別方法，其特征在于，采用以雙流網絡形式呈現的ResNet50作為主干網絡進行特征提取，包括：

將ResNet50的第一階段和第二階段作為特定模態的特征提取器分別對可見光圖像和紅外光圖像單獨訓練，提取得到兩種模態特定特征；

將ResNet50的后三個階段用于共享網絡特征嵌入，通過將兩種模態特定特征映射到統一特征空間來提取多模態共享特征。

4.根據權利要求1所述的基于人物屬性輔助的跨模態行人重識別方法，其特征在于，將所述多模態共享特征進行平均池化操作后采用多層次融合方法進行特征融合，包括：

將ResNet50的第三階段經過平均池化后的輸出特征作為中層特征Mid2_fea，將ResNet50的第五階段經過平均池化后的輸出特征作為高層特征High_fea，將中層特征和高層特征進行融合得到融合特征Fea1，

將融合特征Fea1經過1x1卷積層、批量歸一化網絡層、激活函數層獲得融合后的一維特征。

5.根據權利要求1所述的基于人物屬性輔助的跨模態行人重識別方法，其特征在于，利用所述融合后的一維特征數據集對基于ResNet50的跨模態行人重識別模型進行訓練，包括：

所述跨模態行人重識別模型包括全局特征學習模塊和局部特征學習模塊，將屬性劃分為全局屬性和局部屬性，全局屬性注重整體，將行人身份信息和性別作為全局特征學習模塊的分類標簽；局部屬性注重細節，將除性別屬性以外的其他人物屬性作為局部特征學習模塊的分類標簽；

將融合的一維特征輸入到跨模態行人重識別模型進行訓練，以最小化總損失為目標，得到訓練好的跨模態行人重識別模型。