[發(fā)明專利]一種基于動(dòng)量網(wǎng)絡(luò)指導(dǎo)的跨域行人重識(shí)別算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110436422.3
• 申請(qǐng)日: 2021-04-22
• 公開（公告）號(hào): CN113326731A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 何愛清;高陽;李文斌
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué);江蘇萬維艾斯網(wǎng)絡(luò)智能產(chǎn)業(yè)創(chuàng)新中心有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京泰普專利代理事務(wù)所(普通合伙) 32360
• 代理人: 方曉雯

本發(fā)明針對(duì)跨域行人重識(shí)別任務(wù)中存在的域偏移現(xiàn)象導(dǎo)致的偽標(biāo)簽噪聲干擾問題，提出了一種基于動(dòng)量網(wǎng)絡(luò)指導(dǎo)的跨域行人重識(shí)別算法。該方法包括：步驟S1、用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型初始化骨干網(wǎng)絡(luò)；步驟S2、利用源域數(shù)據(jù)集上帶標(biāo)記的數(shù)據(jù)進(jìn)行模型的預(yù)先微調(diào)以充分利用源域帶標(biāo)記信息；步驟S3、利用源域數(shù)據(jù)集上通過設(shè)置不同隨機(jī)參數(shù)訓(xùn)練的模型初始化提出的動(dòng)量學(xué)習(xí)框架，并使用聚類算法根據(jù)模型提取的特征進(jìn)行聚類生成置信度為1的硬偽標(biāo)簽；步驟S4、設(shè)計(jì)新的軟化的偽標(biāo)簽和損失函數(shù)與傳統(tǒng)損失聯(lián)合進(jìn)行訓(xùn)練優(yōu)化模型；步驟S5、硬偽標(biāo)簽每輪迭代開始前進(jìn)行更新，軟偽標(biāo)簽實(shí)時(shí)動(dòng)態(tài)更新，不斷迭代進(jìn)行偽標(biāo)簽生成和優(yōu)化步驟，直至模型收斂。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于動(dòng)量網(wǎng)絡(luò)指導(dǎo)的跨域行人重識(shí)別算法。

背景技術(shù)

行人重識(shí)別的任務(wù)是給定一個(gè)目標(biāo)圖像，需要通過某種方法從行人數(shù)據(jù)庫中找出與目標(biāo)圖像最為接近的一張或數(shù)張圖像。近年來許多大規(guī)模行人數(shù)據(jù)集的公開促進(jìn)了行人重識(shí)別技術(shù)的研究，可以說數(shù)據(jù)集的質(zhì)量和規(guī)模是提升行人重識(shí)別技術(shù)性能的關(guān)鍵。但是數(shù)據(jù)集的標(biāo)注是非常耗費(fèi)人力物力的，同時(shí)環(huán)境因素也一定程度上阻礙著有效數(shù)據(jù)的收集，考慮到在實(shí)際應(yīng)用中，模型的魯棒性直接決定了其實(shí)用性。而研究發(fā)現(xiàn)，對(duì)于一個(gè)在大規(guī)模數(shù)據(jù)集上訓(xùn)練好了的行人重識(shí)別模型，若直接部署于一個(gè)新的監(jiān)控系統(tǒng)，由于領(lǐng)域之間存在的數(shù)據(jù)分布差異，模型性能會(huì)出現(xiàn)“斷崖式下降”。

為了解決該問題，研究者們做出了很多努力。早期有一些利用手工設(shè)計(jì)的特征解決無監(jiān)督行人重識(shí)別任務(wù)的工作，但是這些特征通常判別性不強(qiáng)從而達(dá)不到很好的效果。基于圖像生成的方法^]通常設(shè)置約束來完成源域圖像到目標(biāo)域圖像的風(fēng)格轉(zhuǎn)換，其能在保持源域數(shù)據(jù)的標(biāo)簽信息的同時(shí)轉(zhuǎn)換成帶有目標(biāo)域數(shù)據(jù)風(fēng)格的圖像，新生成的風(fēng)格數(shù)據(jù)集或與目標(biāo)域數(shù)據(jù)混合一起組成更大的數(shù)據(jù)集進(jìn)行學(xué)習(xí)或單獨(dú)進(jìn)行訓(xùn)練再將模型遷移到目標(biāo)數(shù)據(jù)集上，這類方法通常只關(guān)注于將圖像進(jìn)行風(fēng)格變換而忽略了樣本間存在的潛在聯(lián)系，從而生成的數(shù)據(jù)集丟失了很重要的類內(nèi)信息?；趯?shí)例分類的方法通常首先將每個(gè)行人圖像看成單個(gè)類別，從圖像特征之間的相似性入手，設(shè)計(jì)算法找出某個(gè)圖像的相似鄰域，從而實(shí)現(xiàn)目標(biāo)域的圖像檢索，該類方法的關(guān)鍵在于如何有效地進(jìn)行樣本關(guān)聯(lián)度匹配。嚴(yán)格的基于領(lǐng)域自適應(yīng)的方法^]考慮消除或減小源域和目標(biāo)域間的差異來將具備判別力的信息在域間遷移，有的通過兩域?qū)埂扒笸娈悺?，有的嘗試假設(shè)源域和目標(biāo)域之間存在一組共享的中間層語義屬性來提高行人重識(shí)別的準(zhǔn)確性，但考慮到行人重識(shí)別是一個(gè)開放集問題，源域和目標(biāo)域不重疊，其共享子空間包含的信息僅為目標(biāo)域中判別性信息的極小一部分，相當(dāng)于二者做交集，所以損失了許多更魯棒的信息，從而影響模型性能。在研究者們的諸多嘗試中，應(yīng)用最廣泛且性能最領(lǐng)先的方法是基于偽標(biāo)簽生成的方法，其中基于聚類的偽標(biāo)簽生成方法的算法流程為：第一步用聚類算法對(duì)目標(biāo)域數(shù)據(jù)集上的行人進(jìn)行聚類打上偽標(biāo)簽，其次將該偽標(biāo)簽看作一種監(jiān)督，在目標(biāo)域上進(jìn)行類似有監(jiān)督訓(xùn)練，但該方法在訓(xùn)練過程中往往被“偽標(biāo)簽噪聲”干擾。偽標(biāo)簽噪聲主要是由于：目標(biāo)域行人類別數(shù)未知、聚類算法本身局限、域偏移導(dǎo)致源域上預(yù)訓(xùn)練的網(wǎng)絡(luò)在目標(biāo)域上表現(xiàn)力有限等等。如果初始偽標(biāo)簽可靠性低、噪聲很大，模型很可能直接崩潰，偏離正確訓(xùn)練軌跡，現(xiàn)有方法并沒有有效解決該問題。

本發(fā)明基于聚類算法，提出了一種基于動(dòng)量網(wǎng)絡(luò)指導(dǎo)的跨域行人重識(shí)別方法。該方法結(jié)構(gòu)簡潔，利用動(dòng)量網(wǎng)絡(luò)的輸出指導(dǎo)主干網(wǎng)絡(luò)訓(xùn)練；同時(shí)使用數(shù)據(jù)增強(qiáng)方式增強(qiáng)網(wǎng)絡(luò)的隨機(jī)性，設(shè)計(jì)的軟標(biāo)簽及損失能充分優(yōu)化模型而不局限于對(duì)偽標(biāo)簽的盲目學(xué)習(xí)，與傳統(tǒng)損失一起從不同角度優(yōu)化網(wǎng)絡(luò)，由此減輕了偽標(biāo)簽噪聲的干擾，增強(qiáng)了模型的魯棒性。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明針對(duì)無監(jiān)督行人重識(shí)別任務(wù)中存在的由域偏移、目標(biāo)域行人類別數(shù)未知、算法本身局限等導(dǎo)致的偽標(biāo)簽噪聲干擾問題，提出了一種基于動(dòng)量網(wǎng)絡(luò)指導(dǎo)的跨域行人重識(shí)別方法，來減輕跨域場景下的偽標(biāo)簽噪聲，提高無監(jiān)督域適應(yīng)行人重識(shí)別模型檢索性能。