[發(fā)明專利]基于多重聚類信息的無監(jiān)督行人難樣本挖掘方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110119692.1
• 申請日: 2021-01-28
• 公開（公告）號: CN112819065B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 王幫海;蘇荻翔
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06V10/762
• 分類號: G06V10/762;G06V10/74;G06V10/82;G06N3/045;G06N3/088
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 張金福

1.一種基于多重聚類信息的無監(jiān)督行人難樣本挖掘方法，其特征在于，包括以下步驟：

S1：構(gòu)建神經(jīng)網(wǎng)絡(luò)，并獲取行人數(shù)據(jù)集，所述行人數(shù)據(jù)集包括有標(biāo)簽的行人數(shù)據(jù)集和無標(biāo)簽的行人數(shù)據(jù)集；

S2：利用S1構(gòu)建的神經(jīng)網(wǎng)絡(luò)對有標(biāo)簽的行人數(shù)據(jù)集進(jìn)行特征學(xué)習(xí)，并對劃分出來的特征進(jìn)行優(yōu)化；

S3：利用S2特征學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)作為對無標(biāo)簽的行人數(shù)據(jù)集進(jìn)行學(xué)習(xí)的預(yù)訓(xùn)練模型，對無標(biāo)簽的行人數(shù)據(jù)集進(jìn)行特征提取，將提取的特征構(gòu)建記憶模型；

S4：對記憶模型中的數(shù)據(jù)進(jìn)行DBSCAN聚類，計算被聚類樣本的各自聚類中心，使用聯(lián)合對比損失函數(shù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，利用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)再次進(jìn)行特征學(xué)習(xí)，并使用新的特征更新記憶模型；

S5：對更新后的記憶模型分別進(jìn)行高斯混合模型聚類、KMeans聚類以及譜聚類，將聚類得到的結(jié)果進(jìn)行融合，得到每個特征數(shù)據(jù)各自的軟多重標(biāo)簽；

S6：計算當(dāng)前無標(biāo)簽行人數(shù)據(jù)特征的cosine相似度矩陣并進(jìn)行從小到大排序，根據(jù)排序的前后、軟多重標(biāo)簽的相似度與閾值的大小關(guān)系判斷當(dāng)前樣本是否為難樣本對；

S7：根據(jù)難樣本對，對記憶模型進(jìn)行更新；

步驟S2中利用S1構(gòu)建的神經(jīng)網(wǎng)絡(luò)對有標(biāo)簽的行人數(shù)據(jù)集進(jìn)行特征學(xué)習(xí)，其中特征學(xué)習(xí)的方法是通過交叉熵?fù)p失函數(shù)與難樣本三元組損失函數(shù)，對每一個劃分出來的小樣本集的行人圖像的特征進(jìn)行優(yōu)化；

所述交叉熵?fù)p失函數(shù)與難樣本三元組損失函數(shù)具體如下：

交叉熵?fù)p失函數(shù)：

其中，N為源域中行人ID的個數(shù)，p_i為當(dāng)前樣本對于第i個行人的預(yù)測值，q_i為防止標(biāo)簽過擬合參數(shù)，其取值為：

其中，y為當(dāng)前樣本真實標(biāo)簽，ε為常數(shù)；

難樣本三元組損失函數(shù)：

其中，M為當(dāng)前mini-batch中行人個數(shù)，Z為當(dāng)前mini-batch中每個行人擁有的圖像個數(shù)，a為當(dāng)前行人圖像，p為a的正樣本對，A為當(dāng)前mini-batch中a的正樣本集，n為a的負(fù)樣本對，B為當(dāng)前mini-batch中a的負(fù)樣本集，α為邊界值，表示正樣本與負(fù)樣本之間的最小距離；

步驟S4中所述的聯(lián)合對比損失函數(shù)計算公式如下：

其中的n_c為聚類中心個數(shù)，n_u為離群點個數(shù)，c_k為第k個聚類中心，u_k為第k個離群點在記憶模型中的特征向量，·，·為計算兩個向量之間的余弦距離，τ為放大系數(shù)，設(shè)為0.05，z為當(dāng)前x的趨向位置，若當(dāng)前x為聚類點，則z為x所屬類別的聚類中心；若x為離群點，則z為x在記憶模型中的特征向量。

2.根據(jù)權(quán)利要求1所述的基于多重聚類信息的無監(jiān)督行人難樣本挖掘方法，其特征在于，步驟S1中所述神經(jīng)網(wǎng)絡(luò)具體為：

使用在ImageNet上預(yù)訓(xùn)練過的ResNet-50神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)，并在每個Layer后面添加通道注意力與空間注意力機(jī)制，并將網(wǎng)絡(luò)輸出層中的1000維分類層改為1024維的全連接層，最后連接分類層。

3.根據(jù)權(quán)利要求2所述的基于多重聚類信息的無監(jiān)督行人難樣本挖掘方法，其特征在于，步驟S4和S7中記憶模型更新時采取動量更新法，具體為：

式中，表示t+1時刻記憶模型中第i個樣本的特征向量，表示t時刻記憶模型中第i個樣本的特征向量，f_i^t+1表示t+1時刻網(wǎng)絡(luò)提取的第i個樣本的特征向量，m是動量系數(shù)。