[發(fā)明專利]一種面向行人重識別的自適應(yīng)弱監(jiān)督標(biāo)簽標(biāo)記方法

在審

• 申請?zhí)枺?/td>: 202211673176.4
• 申請日: 2022-12-26
• 公開（公告）號: CN115909464A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計）人: 馬甲林;許林杰;古漢釗;張正偉;張琳;張粵
• 申請（專利權(quán)）人: 淮陰工學(xué)院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/74;G06V10/30;G06V10/82;G06N3/0455;G06N3/0464;G06N3/0895
• 代理公司: 淮安市科文知識產(chǎn)權(quán)事務(wù)所 32223
• 代理人: 吳晶晶

本發(fā)明公開了一種面向行人重識別的自適應(yīng)弱監(jiān)督標(biāo)簽標(biāo)記方法：獲取不同攝像頭下的行人圖像數(shù)據(jù)集，且各攝像頭下的樣本圖像帶有各自的身份標(biāo)簽；基于RetinaFace網(wǎng)絡(luò)對行人圖像樣本進(jìn)行人臉檢測，劃分高噪人臉、低噪人臉和未檢測出人臉的圖像，并將高噪人臉通采用Swin?Conv?UNet網(wǎng)絡(luò)進(jìn)行圖像降噪；分別對檢測出人臉的圖像和未檢測出人臉的圖像進(jìn)行特征提取得到特征向量Fsubgt;1/subgt;和Fsubgt;2/subgt;；分別對Fsubgt;1/subgt;和Fsubgt;2/subgt;進(jìn)行兩兩余弦相似度計算，將不同攝像頭下相似度最高的兩個樣本圖像定義為同一行人并打上相同身份關(guān)聯(lián)標(biāo)簽；將學(xué)習(xí)到的身份關(guān)聯(lián)標(biāo)簽更新到訓(xùn)練數(shù)據(jù)集中，由網(wǎng)絡(luò)進(jìn)行迭代。本發(fā)明基于當(dāng)前單攝像頭內(nèi)已有的行人身份標(biāo)簽，實現(xiàn)多攝像頭下的關(guān)聯(lián)標(biāo)簽增量更新，有效的降低了數(shù)據(jù)標(biāo)記的成本。

技術(shù)領(lǐng)域

本發(fā)明計算機視覺技術(shù)領(lǐng)域，涉及一種面向行人重識別的自適應(yīng)弱監(jiān)督標(biāo)簽標(biāo)記方法。

背景技術(shù)

行人重識別是利用計算機視覺技術(shù)在不同場景以及不同攝像頭下的檢測識別監(jiān)控或圖像中是否有特定行人的技術(shù)，其本質(zhì)是跨攝像頭的行人搜索問題。隨著現(xiàn)代社會的快速發(fā)展，城市公共安全問題越來越多的關(guān)注，大量攝像頭被廣泛應(yīng)用于廠區(qū)、商城、學(xué)校等人流密集的公共場所，行人重識別作為監(jiān)控研究領(lǐng)域的關(guān)鍵組成部分，起到了非常重要的作用。

目前行人重識別訓(xùn)練方法主要利用含有大量跨攝像頭身份標(biāo)簽的訓(xùn)練數(shù)據(jù)，這一過程主要分為兩個階段：1、單攝像頭內(nèi)的行人身份標(biāo)簽標(biāo)注；2、多攝像頭之間的行人身份關(guān)聯(lián)標(biāo)簽標(biāo)注。其中第一階段單攝像頭的行人身份標(biāo)簽標(biāo)注一般通過人工標(biāo)注的方式就能較好的解決，但第二階段跨攝像頭身份關(guān)聯(lián)標(biāo)簽的標(biāo)注是一個非常繁瑣的過程，因為不同攝像頭之間可能存在比較大的差異，比如光照、角度等，這需要數(shù)據(jù)標(biāo)注員將不同攝像頭下的行人身份進(jìn)行比對。另外，如果標(biāo)注任務(wù)是多人協(xié)作的情況下，還需要保證數(shù)據(jù)標(biāo)注員之間給相同的行人身份保持一致，而這需要花費大量人力成本手動標(biāo)記身份關(guān)聯(lián)標(biāo)簽。

針對手動標(biāo)記成本問題，相關(guān)技術(shù)又提出了基于無監(jiān)督學(xué)習(xí)的行人重識別研究，無監(jiān)督的行人重識別方法不需要手動標(biāo)記身份標(biāo)簽信息，但存在模型性能不足的問題。為此

發(fā)明內(nèi)容

發(fā)明目的：針對背景技術(shù)中指出的問題，本發(fā)明提出了一種面向行人重識別的自適應(yīng)弱監(jiān)督標(biāo)簽標(biāo)記方法，只需基于當(dāng)前單攝像頭內(nèi)已有的行人身份標(biāo)簽，通過自動化的方式實現(xiàn)多攝像頭下的關(guān)聯(lián)標(biāo)簽增量更新，豐富了多攝像頭下行人的身份關(guān)聯(lián)標(biāo)簽，有效降低了數(shù)據(jù)標(biāo)記的成本。

技術(shù)方案：本發(fā)明公開了一種面向行人重識別的自適應(yīng)弱監(jiān)督標(biāo)簽標(biāo)記方法，包括如下步驟：

步驟1：獲取不同攝像頭下的行人圖像訓(xùn)練數(shù)據(jù)集V，且每個樣本圖像帶有各自的身份標(biāo)簽，并進(jìn)行預(yù)處理；

步驟2：基于RetinaFace網(wǎng)絡(luò)對行人圖像樣本進(jìn)行人臉檢測，根據(jù)檢測結(jié)果劃分為檢測出人臉的圖像和未檢測出人臉的圖像，其中檢測出人臉的圖像再進(jìn)行噪聲度量，將其分為高噪人臉和低噪人臉，并將高噪人臉采用Swin-Conv-UNet網(wǎng)絡(luò)進(jìn)行圖像降噪；

步驟3：分別對檢測出人臉降噪處理后圖像集合U₃和未檢測出人臉的圖像集合V₂通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取得到行人人臉圖像特征向量集合和行人全局特征向量集合

步驟4：分別對F₁和F₂中不同攝像頭圖像樣本進(jìn)行兩兩余弦相似度計算，將不同攝像頭下相似度最高的兩個樣本圖像定義為同一行人并打上相同身份關(guān)聯(lián)標(biāo)簽；

步驟5：將學(xué)習(xí)到的身份關(guān)聯(lián)標(biāo)簽更新到訓(xùn)練數(shù)據(jù)集中，由網(wǎng)絡(luò)進(jìn)行迭代，再計算損失進(jìn)行標(biāo)簽增量更新訓(xùn)練，不斷將新的關(guān)聯(lián)標(biāo)簽放到下一次的訓(xùn)練中作為基礎(chǔ)標(biāo)簽集。

進(jìn)一步地，所述步驟2中基于RetinaFace網(wǎng)絡(luò)對行人圖像樣本進(jìn)行人臉檢測具體如下：