[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)無監(jiān)督對(duì)比學(xué)習(xí)的高效行人重識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010364742.8
• 申請(qǐng)日: 2020-04-30
• 公開（公告）號(hào): CN111611880B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 顏成鋼;徐同坤;殷建;孫垚棋;張繼勇;張勇東
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于神經(jīng)網(wǎng)絡(luò)無監(jiān)督對(duì)比學(xué)習(xí)的高效行人重識(shí)別方法，其特征在于包括以下步驟：

步驟1：準(zhǔn)備行人重識(shí)別模型訓(xùn)練的數(shù)據(jù)集；

步驟2：選擇具有較強(qiáng)特征提取能力的卷積神經(jīng)網(wǎng)絡(luò)作為無監(jiān)督對(duì)比學(xué)習(xí)模型的主干網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)包括ResNet；無監(jiān)督對(duì)比學(xué)習(xí)模型中的對(duì)比學(xué)習(xí)以特征向量為出發(fā)點(diǎn)，即對(duì)無監(jiān)督對(duì)比學(xué)習(xí)模型提取的特征向量進(jìn)行約束，按照損失函數(shù)的方式，利用優(yōu)化器和反向傳播的原理實(shí)現(xiàn)對(duì)無監(jiān)督對(duì)比學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)的修正；

步驟3：將訓(xùn)練圖片的特征向量存入緩存區(qū)

為了方便模型訓(xùn)練過程中特征向量的對(duì)比學(xué)習(xí)，正在訓(xùn)練中的無監(jiān)督對(duì)比學(xué)習(xí)模型將當(dāng)前訓(xùn)練圖片提取的特征向量存入緩存區(qū)，便于下一個(gè)訓(xùn)練周期進(jìn)行特征向量對(duì)比；

當(dāng)需要進(jìn)行特征向量對(duì)比時(shí)，隨機(jī)選取指定數(shù)量的特征向量與當(dāng)前訓(xùn)練周期中提取的特征向量進(jìn)行對(duì)比學(xué)習(xí)；

步驟4：通過量化指標(biāo)進(jìn)行量化評(píng)估；

步驟1具體實(shí)現(xiàn)如下：

1-1.在應(yīng)用該行人重識(shí)別方法的地區(qū)，實(shí)地收集行人圖片，無需標(biāo)注圖片，形成真實(shí)訓(xùn)練集；

1-2.從網(wǎng)絡(luò)中選取公開的帶標(biāo)簽的行人重識(shí)別的科研訓(xùn)練集；

1-3.將收集到的行人重識(shí)別圖片作為兩個(gè)訓(xùn)練集，用來同一個(gè)模型的訓(xùn)練學(xué)習(xí)；利用訓(xùn)練服務(wù)器GPU大容量的特點(diǎn)，將兩個(gè)訓(xùn)練集同時(shí)放入無監(jiān)督對(duì)比學(xué)習(xí)模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)的并行處理；

步驟2所述的對(duì)比學(xué)習(xí)具體實(shí)現(xiàn)如下：

2-1.使用帶標(biāo)簽的科研訓(xùn)練集對(duì)卷積無監(jiān)督對(duì)比學(xué)習(xí)模型進(jìn)行監(jiān)督學(xué)習(xí)，使用交叉熵函數(shù)公式(1)訓(xùn)練，當(dāng)損失函數(shù)不再下降時(shí)，無監(jiān)督對(duì)比學(xué)習(xí)模型達(dá)到收斂狀態(tài)；

2-2.然后將帶標(biāo)簽的科研訓(xùn)練集和無標(biāo)簽的真實(shí)訓(xùn)練集輸入步驟2-1訓(xùn)練后的無監(jiān)督對(duì)比學(xué)習(xí)模型；具體的科研訓(xùn)練集和真實(shí)訓(xùn)練集按照1：1的比例，分批次送入無監(jiān)督對(duì)比學(xué)習(xí)模型中進(jìn)行訓(xùn)練，損失函數(shù)采用公式(2)所表達(dá)的相似度函數(shù)，指導(dǎo)無監(jiān)督對(duì)比學(xué)習(xí)模型提取帶標(biāo)簽訓(xùn)練圖片和無標(biāo)簽訓(xùn)練圖片的特征向量，通過計(jì)算特征向量的歐式距離判斷達(dá)到相似度一致，打破不同環(huán)境中潛在的不一致性；特征向量的歐式距離計(jì)算如公式(4)所示；

2-3.對(duì)帶標(biāo)簽訓(xùn)練圖片和無標(biāo)簽訓(xùn)練圖片進(jìn)行對(duì)比學(xué)習(xí)，讓訓(xùn)練圖片的每一個(gè)特征向量具有自己獨(dú)特的特征，使用的是無參數(shù)的softmaxs損失函數(shù)，如公式(3)所示，將每一個(gè)特征向量作為無參數(shù)softmax的輸入；

計(jì)算公式(1)-(3)所示無參數(shù)損失函數(shù)如下所示：

其中和分別表示交叉熵?fù)p失函數(shù)、相似度損失函數(shù)和無參數(shù)softmax損失函數(shù)；其中n_s表示帶標(biāo)簽的科研訓(xùn)練集中第s個(gè)批次的樣本數(shù)量，y_s,i表示帶標(biāo)簽的科研訓(xùn)練集中第s個(gè)批次中第i個(gè)樣本的標(biāo)簽；x_s,i表示帶標(biāo)簽的科研訓(xùn)練集中第s個(gè)批次中第i個(gè)樣本；p()表示條件概率函數(shù)；q表示無標(biāo)簽的真實(shí)訓(xùn)練集中一個(gè)樣本的特征向量，k_-和k₊表示無監(jiān)督對(duì)比學(xué)習(xí)模型在上一個(gè)訓(xùn)練周期已經(jīng)保存的訓(xùn)練好的特征向量；k_-表示與q無關(guān)的特征向量，k₊表示跟q相關(guān)的特征向量，τ表示時(shí)間常量，用來控制特征向量的大小；k_i表示上一個(gè)訓(xùn)練周期已經(jīng)保存的訓(xùn)練好的特征向量中的第i個(gè)特征向量。

2.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)無監(jiān)督對(duì)比學(xué)習(xí)的高效行人重識(shí)別方法，其特征在于為了保證特征提取在不同時(shí)期的連續(xù)性，在使用緩存區(qū)中提取到的特征向量時(shí)，需要對(duì)特征向量進(jìn)行當(dāng)前監(jiān)督對(duì)比學(xué)習(xí)模型的參數(shù)的中和，中和的程度與緩存區(qū)中特征向量更新的時(shí)間間隔有關(guān)；更新時(shí)間間隔越長，中和參數(shù)越大，則緩存區(qū)中的特征向量需要更多當(dāng)前訓(xùn)練模型的中和指導(dǎo)，中和函數(shù)如下所示：

v＝(1-λ_t)v_m+λ_tv₀(5)

其中，v表示中和后的特征向量，v_m表示監(jiān)督對(duì)比學(xué)習(xí)模型當(dāng)前訓(xùn)練周期提取的特征向量，v₀表示緩存區(qū)中的特征向量，λ_t表示更新常量，該更新常量跟更新時(shí)間有關(guān)。