[發(fā)明專利]一種基于知識蒸餾的可見光-紅外跨模態(tài)行人重識別方法

有效

• 申請?zhí)枺?/td>: 202011489557.8
• 申請日: 2020-12-16
• 公開（公告）號: CN112597866B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設計）人: 邵昊;高廣謂;吳飛;徐國安;岳東
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/40;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于知識蒸餾的可見光-紅外跨模態(tài)行人重識別方法，其特征在于，包括以下步驟：

步驟S1、初始輸入K對圖片至特征提取部分，進行淺層特征提取；所述K對圖片中每對包括針對同一目標的一張可見光圖片和一張紅外圖片；所述特征提取如下：

I_V＝F_V(i_V)

I_T＝F_T(i_T)

其中，i_V表示可見光圖片，F_V表示對可見光進行淺層特征提取，I_V表示可見光圖片提取的特征；i_T表示紅外圖片，F_T表示對紅外圖片進行淺層特征提取，I_T表示紅外圖片提取的特征；

步驟S2、引入知識蒸餾函數KD Loss，根據步驟S1所得特征對I_V和I_T計算損失函數如下：

步驟S3、將步驟S1獲取的特征對I_V和I_T輸入至特征映射部分，提取可見光模態(tài)和紅外模態(tài)的模態(tài)共享特征如下：

K_V＝E(I_V)

K_T＝E(I_T)

其中，E表示深入提取模態(tài)共享特征操作；K_V和K_T分別表示提取到的共享特征；

步驟S4、將步驟S3所得模態(tài)共享特征K_V和K_T依次輸入至GEM池化層、批歸一化層和全連接層，輸出分類結果如下：

L_V＝FC(BN(GEM(K_V)))

L_T＝FC(BN(GEM(K_T)))

其中GEM表示池化操作，具體如下：

x是經過池化操作輸出的特征；p 是超參數，采用預先設置或反向傳播學習獲取，當p→∞時，相當于最大池化，當p→1時，相當于平均池化；

BN表示批歸一化操作，FC表示全連接層；

步驟S5、引入改進枚舉損失函數；

步驟S5.1、引入類間跨模態(tài)枚舉損失函數L_c如下：

其中{(x₁,y₁),(x₂,y₂),…(x_i,y_i)…(x_n,y_n)}表示有N對不同模態(tài)的圖片，x_i為標準樣本圖片，y_i為積極樣本圖片，y_j為消極樣本圖片；

步驟S5.2、引入類內同模態(tài)枚舉損失函數L_s如下：

其中{(x₁,y₁),(x₂,y₂),…(x_i,y_i)…(x_n,y_n)}表示有N對不同模態(tài)的圖片，x_i為標準樣本圖片，y_i為積極樣本圖片，x_j為消極樣本圖片；

步驟S5.3、引入緊密項C如下：

其中f_r(y_i)表示f(y_i)的第r個元素，表示f(y_i)的所有元素的平均值，R是輸出的深層局部特征表示f(y_i)的維度；

最終枚舉損失函數如下：

L_enumerate＝L_c+L_s+λC

其中λ是一個平衡項，用來平衡緊密項C；

步驟S6、將身分信息集成到總體損失函數中；具體地，設計交叉熵損失函數如下：

其中N表示樣本的身份信息的類數，L_idt表示紅外圖片的交叉熵損失函數，L_idv表示可見光圖片的交叉熵損失函數，q()表示預測的標簽，p()表示真實的標簽,x_i表示可見光圖片，y_i表示紅外圖片；

步驟S7、基于步驟S2、S5和S6可得，最終損失函數如下：

L_total＝L_enumerate+L_idv+L_idt+L_KD。