[發(fā)明專利]一種基于可微圖學(xué)習(xí)的行人重識(shí)別模型的弱監(jiān)督訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011303629.5
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112395997A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: 張吉祺;林倞;聶琳;王廣潤;王廣聰
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 劉俊

本發(fā)明提供一種基于可微圖學(xué)習(xí)的行人重識(shí)別模型的弱監(jiān)督訓(xùn)練方法，該方法首先將行人圖片按拍攝時(shí)間段分組成袋并分配袋類別標(biāo)簽；然后，捕獲每一個(gè)袋中所有圖片之間的依賴關(guān)系，來為該類別的袋中每張圖片生成可靠的偽行人類別標(biāo)簽，作為行人重識(shí)別模型訓(xùn)練的監(jiān)督信息；然后，進(jìn)行行人重識(shí)別模型和圖模型的一體訓(xùn)練；將圖模型損失和重識(shí)別損失的線性組合作為總損失函數(shù)，利用反向傳播算法更新網(wǎng)絡(luò)所有層的參數(shù)。本發(fā)明不需要繁重的人工標(biāo)注成本、幾乎不增加計(jì)算復(fù)雜度也能達(dá)到領(lǐng)先的模型性能。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺技術(shù)領(lǐng)域，更具體地，涉及一種基于可微圖學(xué)習(xí)的行人重識(shí)別模型的弱監(jiān)督訓(xùn)練方法。

背景技術(shù)

目前，行人重識(shí)別問題主要有三種實(shí)現(xiàn)方法：(1)提取判別特征；(2)學(xué)習(xí)一個(gè)穩(wěn)定的度量或子空間進(jìn)行匹配；(3)聯(lián)合上述兩種方法。然而，大部分實(shí)現(xiàn)方法需要強(qiáng)監(jiān)督訓(xùn)練標(biāo)簽，即需要人工標(biāo)注數(shù)據(jù)集每張圖片。此外有不需要人工標(biāo)注的基于無監(jiān)督學(xué)習(xí)的行人重識(shí)別方法，使用局部顯著性匹配或聚類模型，但很難建模跨攝像機(jī)視圖的顯著差異，因此很難達(dá)到高精度。相比之下，本發(fā)明提出的弱監(jiān)督行人重識(shí)別方法是一種優(yōu)秀的訓(xùn)練方法，不需要昂貴的人工標(biāo)注成本也能達(dá)到較高的精度。

弱監(jiān)督學(xué)習(xí)：盡管用弱監(jiān)督方法訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是一個(gè)挑戰(zhàn)性問題，其已被少量研究用于解決某些任務(wù)，如圖片分類、語義分割和目標(biāo)檢測。類似這些研究，本發(fā)明也基于偽標(biāo)簽的生成，但弱監(jiān)督行人重識(shí)別任務(wù)有兩個(gè)的特點(diǎn)：(1)無法找到每個(gè)行人個(gè)體的代表性圖像，因?yàn)槿藗儠?huì)在短時(shí)間內(nèi)更換衣服，因此標(biāo)簽不明確；(2)熵比其他任務(wù)大，例如弱監(jiān)督語義分割任務(wù)中圖像的像素有一定的穩(wěn)定性，而行人重識(shí)別任務(wù)中的行人更加無序和不規(guī)則。上述兩個(gè)特點(diǎn)提高了弱監(jiān)督行人重識(shí)別的難度。

不確切標(biāo)簽學(xué)習(xí)：其中單樣本行人重識(shí)別與本發(fā)明最相關(guān)，但有兩個(gè)不同：(1)單樣本行人重識(shí)別的每個(gè)行人類別都需要至少一張圖片實(shí)例，而本方法的數(shù)據(jù)集不需要準(zhǔn)確的行人類別標(biāo)簽；(2)本發(fā)明引入袋類別標(biāo)簽作為限制引導(dǎo)偽行人類別標(biāo)簽的估計(jì)，確保比單樣本行人重識(shí)別生成更可靠的偽標(biāo)簽。

行人搜索：結(jié)合行人檢測和行人重識(shí)別的過程。本發(fā)明與其有兩個(gè)主要區(qū)別：(1)本發(fā)明僅關(guān)注視覺特征匹配，因?yàn)槟壳暗娜宋餀z測器的能力足夠勝任；(2)本發(fā)明得益于代價(jià)低廉的弱標(biāo)注，而行人搜索的每張訓(xùn)練圖片依然需要強(qiáng)標(biāo)注。

申請(qǐng)?zhí)枮?01710487019.7公開了一種使用深度生成機(jī)器學(xué)習(xí)模型的圖像質(zhì)量評(píng)分方法，該方法對(duì)于對(duì)來自醫(yī)學(xué)掃描儀的圖像進(jìn)行圖像質(zhì)量評(píng)分，可使用深度機(jī)器學(xué)習(xí)來創(chuàng)建預(yù)期好質(zhì)量圖像的生成模型。輸入圖像離生成模型的偏差被用作對(duì)于判別模型的輸入特征向量；判別模型還可以對(duì)從輸入圖像導(dǎo)出的另輸入特征向量進(jìn)行操作?；谶@些。然而，該專利無法實(shí)現(xiàn)直接將圖學(xué)習(xí)表示成一個(gè)對(duì)網(wǎng)絡(luò)參數(shù)可微的損失函數(shù)，使其能用隨機(jī)梯度下降的方法優(yōu)化，實(shí)現(xiàn)圖模型和行人重識(shí)別模型的一體訓(xùn)練。

發(fā)明內(nèi)容

本發(fā)明提供一種基于可微圖學(xué)習(xí)的行人重識(shí)別模型的弱監(jiān)督訓(xùn)練方法，該方法實(shí)現(xiàn)為行人重識(shí)別深度神經(jīng)網(wǎng)絡(luò)加入自動(dòng)生成訓(xùn)練標(biāo)簽的模塊并與其一體訓(xùn)練，降低了算法復(fù)雜程度。

為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

一種基于可微圖學(xué)習(xí)的行人重識(shí)別模型的弱監(jiān)督訓(xùn)練方法，包括以下步驟：

S1：將行人圖片按拍攝時(shí)間段分組成袋并分配袋類別標(biāo)簽；

S2：捕獲每一個(gè)袋中所有圖片之間的依賴關(guān)系，來為該類別的袋中每張圖片生成可靠的偽行人類別標(biāo)簽，作為行人重識(shí)別模型訓(xùn)練的監(jiān)督信息；

S3：進(jìn)行行人重識(shí)別模型和圖模型的一體訓(xùn)練；

S4：將圖模型損失和重識(shí)別損失的線性組合作為總損失函數(shù)，利用反向傳播算法更新網(wǎng)絡(luò)所有層的參數(shù)。

進(jìn)一步地，所述步驟S1的具體過程是：