[發(fā)明專利]一種行人重識別模型訓(xùn)練的方法、裝置和設(shè)備

有效

• 申請?zhí)枺?/td>: 202210181439.3
• 申請日: 2022-02-25
• 公開（公告）號: CN114663685B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 蔣敏;馬磊;孔軍
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06V10/62
• 分類號: G06V10/62;G06V40/10;G06V20/30;G06V10/42;G06V10/762;G06V10/774;G06V10/82;G06N3/045;G06N3/0464;G06N3/098
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 馮瑞

本發(fā)明公開了一種行人重識別模型訓(xùn)練的方法、裝置、設(shè)備以及計算機可讀存儲介質(zhì)，包括：基于兩個卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建兩個行人重識別網(wǎng)絡(luò)模型；將目標(biāo)域圖像集輸入每個行人重識別網(wǎng)絡(luò)模型中，利用卷積神經(jīng)網(wǎng)絡(luò)和Transformer提取中間特征；利用全局子值池化模塊對中間特征進(jìn)行處理，輸出最終特征值，并進(jìn)行聚類分析，得到硬偽標(biāo)簽；構(gòu)建每個行人重識別網(wǎng)絡(luò)模型的時序平均模型，將目標(biāo)域圖像集輸入每個時序平均模型中，得到軟偽標(biāo)簽；利用軟硬偽標(biāo)簽代優(yōu)化行人重識別網(wǎng)絡(luò)模型，選取目標(biāo)行人重識別網(wǎng)絡(luò)模型。本發(fā)明通過Transformer和全局子值池化模塊獲得高質(zhì)量的特征信息，通過聚類得到更高質(zhì)量的偽標(biāo)簽，大幅提高模型性能，提高行人重識別的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺領(lǐng)域，特別是涉及一種行人重識別模型訓(xùn)?練的方法、裝置、設(shè)備以及計算機可讀存儲介質(zhì)。

背景技術(shù)

行人重識別是計算機視覺領(lǐng)域的熱門研究方向之一，旨在定位多?個非重疊攝像頭下的某一行人。傳統(tǒng)行人重識別的研究往往依賴于大?量標(biāo)注好的圖像，實際應(yīng)用中，標(biāo)注圖像會浪費大量的人力與財力，?域自適應(yīng)的行人重識別方法解決了這個問題，該技術(shù)可以將有標(biāo)注源?域數(shù)據(jù)集上學(xué)習(xí)到的模型應(yīng)用到無標(biāo)注目標(biāo)域數(shù)據(jù)集上。

現(xiàn)有的基于偽標(biāo)簽的與自適應(yīng)行人重識別方法往往只關(guān)注聚類?的方法，忽視了模型自身提取特征的能力，還要依賴大量數(shù)據(jù)進(jìn)行訓(xùn)?練，使提取的偽標(biāo)簽魯棒性不強，質(zhì)量不高，現(xiàn)在急于要提升模型的?性能。

綜上所述可以看出，如何提高偽標(biāo)簽的質(zhì)量來實現(xiàn)高精度的行人?重識別是目前有待解決的問題。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明提供一種行人重識別模型訓(xùn)練的方?法、裝置、設(shè)備以及計算機可讀存儲介質(zhì)，包括：

基于預(yù)訓(xùn)練的兩個神經(jīng)網(wǎng)絡(luò)構(gòu)建第一行人重識別網(wǎng)絡(luò)模型和第?二行人重識別網(wǎng)絡(luò)模型，每個行人重識別網(wǎng)絡(luò)模型包括卷積神經(jīng)網(wǎng)絡(luò)、?Transformer模塊和全局子值池化模塊；

將目標(biāo)域圖像集分別輸入所述第一行人重識別網(wǎng)絡(luò)模型和第二?行人重識別網(wǎng)絡(luò)模型中，利用所述每個行人重識別網(wǎng)絡(luò)模型中的所述?卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，利用所述Transformer模塊提取全局信息，得?到中間特征；

將所述中間特征輸入所述全局子值池化模塊中，利用所述全局子?值池化模塊進(jìn)行池化處理，輸出最終特征值，并進(jìn)行聚類分析，得到?所述每個行人重識別網(wǎng)絡(luò)模型的硬偽標(biāo)簽；

構(gòu)建所述每個行人重識別網(wǎng)絡(luò)模型的時序平均模型，將所述目標(biāo)?域圖像集分別輸入每個時序平均模型中，得到所述每個時序平均模型?軟偽標(biāo)簽；

利用所述硬偽標(biāo)簽和所述軟偽標(biāo)簽對所述第一行人重識別網(wǎng)絡(luò)?模型和第二行人重識別網(wǎng)絡(luò)模型進(jìn)行協(xié)同訓(xùn)練；

選取兩個時序平均模型中mAP精度值大的模型作為目標(biāo)行人重?識別網(wǎng)絡(luò)模型。

優(yōu)選地，所述利用所述每個行人重識別網(wǎng)絡(luò)模型中的所述卷積神?經(jīng)網(wǎng)絡(luò)進(jìn)行處理，利用所述Transformer模塊提取全局信息，得到中間?特征包括：

將所述目標(biāo)域圖像集輸入所述每個行人重識別網(wǎng)絡(luò)模型中，利用?所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，并進(jìn)行空間維度展平得到特征f，將所述?特征f附上cls標(biāo)記得到特征f_cls，并對所述特征f_cls進(jìn)行位置編碼得到?特征f_cp；

將所述特征f_cp輸入所述Transformer模塊中，利用所述?Transformer模塊進(jìn)行處理并進(jìn)行轉(zhuǎn)置和維度擴展，得到所述中間特征?F。

優(yōu)選地，所述將所述中間特征輸入所述全局子值池化模塊中，利?用所述全局子值池化模塊進(jìn)行池化處理，輸出最終特征值，并進(jìn)行聚?類分析，得到所述每個行人重識別網(wǎng)絡(luò)模型的硬偽標(biāo)簽包括：