[發明專利]一種無監督域自適應的行人重識別方法

有效

• 申請號: 202010583041.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111967294B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 徐健鋒;潘純杰;劉瀾;吳俊杰;鄒偉康;江飛翔
• 申請（專利權）人: 南昌大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/762;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 南昌金軒知識產權代理有限公司 36129
• 代理人: 黨沖

1.一種無監督域自適應行人重識別方法，其特征在于，所述的無監督域自適應行人重識別方法包括以下步驟：

S1、在有標簽的源域預訓練初始模型；

S2、利用初始模型提取目標域多粒度特征，生成多粒度特征分組集合，對每個分組集合計算距離矩陣；

S3、對距離矩陣進行聚類分析，生成簇內點和噪聲點，根據聚類聚類結果估計簇內點的硬標簽；

S4、根據聚類結果，估計每個樣本的軟偽標簽用以處理噪聲點，更新數據集；

S5、在更新的數據集上重新訓練模型，直至模型收斂；

S6、根據預設的迭代次數，循環步驟S2-S5；

S7、將測試集數據輸入模型提取多粒度特征，根據特征相似度得到最終重識別結果，從而實現無監督域自適應行人重識別方法；

所述的步驟S2包括：

S2.1、利用步驟1生成的初始模型，給定目標域無標簽數據集其中N_T為目標域數據集的圖片總數，將每個目標域數據輸入到模型中，提取在初始模型的conv5層的輸出特征圖；

S2.2、對輸出特征圖劃分多粒度特征，具體地，給定目標域樣本由初始模型提取的特征圖記為f_i,將f_i劃分為多個粒度地特征圖，分別為上半部分特征圖f_{t_u},下半部分特征圖f_{t_l},中間部分特征圖f_{t_m}，對每個特征圖使用全局平均池化(GAP)操作，提取GAP后的特征，循環遍歷X^T中所有數據；

S2.3、生成多粒度特征分組集合，具體地：如步驟S2.2所述，對每個樣本提取多粒度特征，將相同粒度特征歸于粒度組集合，生成的多個分組特征集合表示為：

其中N_t表示目標域圖片總數；

S2.4、計算每個分組集合的距離矩陣，具體地，對于每個分組特征集合，經過下列步驟計算距離矩陣：首先計算兩兩特征之間的歐式距離，得到一個距離矩陣其中M_ij＝||x_i-x_j||²，然后按照以下規則更新M：

其中，M_ij表示樣本i和j的特征相似度，R*(i,k)表示樣本i的k互近鄰集合，最后，計算樣本對之間的Jaccard距離，計算方式為：

最終的距離矩陣D，其中D_ij＝D_J(x_i,x_j)，遍歷每個分組集合，生成對應的距離矩陣D^t、D^t_u、D^t_l和D^t_m；

所述的步驟S3包括：

S3.1、根據步驟S2所述，所生成的距離矩陣D^t、D^t_u、D^t_l和D^t_m，對每個距離矩陣采用基于密度的HDBSCAN聚類算法，生成簇內點和噪聲點，將同一類簇中的所有樣本視為同一ID，針對簇內點，根據聚類聚類結果估計每個簇內點的偽標簽，更新分組集合數據集，具體為：

其中x_i和y_i表示對應分組數據集中第i個訓練數據和與之相關的偽標簽，N_{c_g}、N_{c_u}、N_{c_l}和N_{c_m}分別表示該X_t、X_{t_u}、X_{t_l}和X_{t_m}組中的樣本總數；

S3.2、根據步驟S3.1所述，在每個分組數據集中，樣本x_i的硬偽標簽定義為：

其中表示y_i的第k個值；

所述的步驟S4包括：

S4.1、根據步驟S3.2所生成的分組數據集其硬偽標簽，對于單個分組集合，首先，在每個ID中隨機選取一張圖片，生成輔助子數據集對其他每個行人圖估計其軟偽標簽，具體地，給定行人圖像x_i其軟偽標簽為y_s，其中y_s的計算方式為：

其中y_s^(k)為軟標簽y_s的第k個值，dist(·,·)是余弦相似度度量，根據輔助子集A_sub，利用上述方法將該分組中所有樣本估計軟偽標簽；

其中N_c為輔助數據集圖片的個數；

S4.2、本發明處理噪聲點方法如下：

(1)查找距離噪聲點最近鄰的K個簇內點；

(2)將噪聲點分別計算與K個近鄰簇內點的得分值S，計算方式為：

其中S_nj為噪聲點x_n與近鄰點x_j的得分值，dist(x_n,x_j)表示噪聲點x_n與第j個近鄰簇內點的余弦相似度,j∈(1,K)其中y_s^(k)是軟標簽y_s的第k個值，λ是超參數，3)：對S進行排序，將噪聲點x_n歸于S_nj最大的x_j同一類，給噪聲點估計對應的偽標簽，更新各分組數據集為：

其中，N_t為無標簽目標域中的圖像總數。