[發明專利]基于三模態一致性約束的跨模態行人再識別方法和系統

在審

• 申請號: 202211239389.6
• 申請日: 2022-10-11
• 公開（公告）號: CN115661857A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 何發智;司統振;唐偉;吳浩然
• 申請（專利權）人: 武漢大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06V10/44;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于三模態一致性約束的跨模態行人再識別方法，其特征在于，所述方法包括以下步驟：

步驟S1，基于卷積神經網絡，構建行人識別模型；

步驟S2，基于圖像融合技術，融合彩色圖像和紅外圖像，產生異構增強的行人圖像；

步驟S3，將彩色圖像、紅外圖像和異構增強的圖像進行預處理之后輸入構建的行人識別模型，提取彩色圖像、紅外圖像和異構增強圖像對應的特征圖；

步驟S4，基于提取的特征圖，進行池化操作獲取圖像的整體和局部特征，將這些特征輸入分類器完成分類任務，并利用交叉熵計算損失；

步驟S5，基于提取的整體和局部特征，構建三元中心損失，減少模態間的特征差異；

步驟S6，基于提取的整體和局部特征，構建緊致的模態內約束損失，減少模態內的特征差異；

步驟S7，聯合交叉熵損失、三元中心損失和緊致的模態內約束損失，共同優化構建的行人識別模型；

步驟S8，基于所述優化的行人識別模型，提取行人圖像的整體與局部特征，并將其串聯進行行人匹配，得到行人識別結果。

2.根據權利要求1所述的方法，其特征在于：步驟S1包括以下步驟：

步驟S11，獲取預訓練的ResNet-50深度學習模型，并對其進行參數初始化；

步驟S12，將ResNet-50中的Block3之前的模型結構重復構建三次以分別處理三種不同類型的數據，并將ResNet-50中的Block3和Block4作為共享模塊處理三種不同類型數據。

3.根據權利要求1所述的方法，其特征在于：步驟S2中，利用現有的圖像融合技術FusionDN融合彩色圖像和紅外圖像，產生異構增強的圖像，其中FusionDN輸入的圖像對分別在彩色模態和紅外模態中隨機選取一個具有相同標簽的行人圖像。

4.根據權利要求1所述的方法，其特征在于：步驟S3包括以下步驟：

步驟S31，對數據進行預處理操作，其中對彩色圖像和紅外圖像的預處理包括：對行人圖像進行隨水平翻轉、隨機裁剪、隨機擦除機，并對行人圖像進行歸一化操作；對異構增強圖像的預處理包括：對行人圖像進行隨機水平翻轉、隨機裁剪，并對行人圖像進行歸一化操作；

步驟S32，將預處理之后的彩色圖像、紅外圖像和異構增強圖像輸入構建的行人識別模型，提取彩色圖像、紅外圖像和異構增強圖像所對應的特征圖。

5.根據權利要求1所述的方法，其特征在于：步驟S4包括以下步驟：

步驟S41，對提取的彩色圖像特征圖、紅外圖像特征圖和異構增強圖像的特征圖實施池化操作，獲得三種圖像對應的整體特征；

步驟S42，對提取的彩色圖像特征圖和紅外圖像特征圖水平劃分為均勻的三塊，并對每塊實施池化操作，獲得對應的局部特征；

步驟S43，基于提取的整體和局部特征，將每個特征輸入分類器，利用交叉熵函數計算預測損失，其中彩色圖像、紅外圖像和異構增強圖像所對應的損失值分別表示為L_v,L_r,L_a：

其中，t是特征對應的真實標簽，表示彩色圖像的第i個特征，表示紅外圖像的第i個特征，表示異構圖像的整體特征，表示將特征預測為標簽t的概率，i＝1,2,3,4，表示三種局部特征和一個整體特征；

步驟S44，利用交叉熵函數計算的三種圖像特征的預測損失總值表示為：

其中P表示每次輸入網絡的行人圖像身份類別總數，K表示每個行人類別中的圖像總數。