[發(fā)明專利]一種基于聚類的無監(jiān)督跨域行人重識別方法

在審

• 申請?zhí)枺?/td>: 202010744097.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111860678A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 周勇;侯浩鵬;趙佳琦;夏士雄;姚睿;陳瑩;張迪;張曼
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 王美章

本發(fā)明公開了一種基于聚類的無監(jiān)督跨域行人重識別方法，屬于計(jì)算機(jī)視覺領(lǐng)域。具體實(shí)現(xiàn)（1）搭建用于預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；（2）將源域有標(biāo)簽的數(shù)據(jù)輸入預(yù)訓(xùn)練網(wǎng)絡(luò)，做有監(jiān)督的預(yù)訓(xùn)練；（3）搭建用于微調(diào)的雙流相互學(xué)習(xí)網(wǎng)絡(luò)框架；（4）訓(xùn)練雙流相互學(xué)習(xí)框架，輸出適用于目標(biāo)域的行人重識別模型。本發(fā)明利用有標(biāo)簽的源域數(shù)據(jù)集和無標(biāo)簽的目標(biāo)域數(shù)據(jù)集，以及相互學(xué)習(xí)的網(wǎng)絡(luò)框架，實(shí)現(xiàn)無監(jiān)督的跨域行人重識別；引入自注意力機(jī)制和全局聯(lián)合池化操作，以及提出新的損失函數(shù)——聯(lián)合靈活優(yōu)化損失，并選用更合適開放集數(shù)據(jù)的聚類方法，從而使得模型性能獲得明顯提升。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像檢索技術(shù)領(lǐng)域，特別設(shè)計(jì)跨域圖像檢索的一種基于聚類的無監(jiān)督跨域行人重識別方法。

背景技術(shù)

行人重識別(re-ID)是圖像檢索的一個(gè)子問題，它的目的是確定來自不同攝像機(jī)拍攝的圖像的中的行人是否相同。這是一個(gè)有前景但具有挑戰(zhàn)性的方向，因?yàn)槿说膱D像通常受到遮擋、光照、姿勢變化等因素的影響，使得重識別有很大困難。隨著卷積神經(jīng)網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，基于監(jiān)督學(xué)習(xí)的行人重識別實(shí)現(xiàn)了很高的性能。然而，監(jiān)督學(xué)習(xí)需要大量的有標(biāo)記的行人數(shù)據(jù)，并且由于域間隙的存在，在源數(shù)據(jù)集上訓(xùn)練的模型在面對目標(biāo)域時(shí)往往會(huì)出現(xiàn)很大的性能下降。而在現(xiàn)實(shí)世界的應(yīng)用場景中，為每個(gè)攝像機(jī)系統(tǒng)標(biāo)記一個(gè)大規(guī)模的數(shù)據(jù)集幾乎是不可能的。為了解決這一問題，提出了一種無監(jiān)督的域自適應(yīng)方法，它可以傳遞從源域?qū)W習(xí)的知識到目標(biāo)域。目前，最有效的方法是基于聚類的偽標(biāo)簽標(biāo)注法。首先，我們通過源域中有標(biāo)簽的數(shù)據(jù)在有監(jiān)督的學(xué)習(xí)下得到一個(gè)源域的預(yù)訓(xùn)練模型，然后對其進(jìn)行微調(diào)。在后一步中，使用聚類方法對目標(biāo)域的圖片特征進(jìn)行聚類，對每一個(gè)簇分配一個(gè)偽標(biāo)簽，然后以這些偽標(biāo)簽在目標(biāo)域做有監(jiān)督的學(xué)習(xí)，迭代地執(zhí)行上面兩步，最終我們獲得可以適應(yīng)目標(biāo)域的行人重識別模型。

但是，基于聚類的無監(jiān)督跨域行人重識別方法仍存在以下問題：

(1)由于遮擋的影響，不對齊，光照等，一般模型很難學(xué)習(xí)具有高區(qū)分度的行人特征表示。上下文信息對于目標(biāo)識別也很重要，但并非所有的背景信息都有助于提高性能；

(2)目標(biāo)域中的類數(shù)是不確定的，且聚類算法會(huì)產(chǎn)生一些錯(cuò)誤的標(biāo)簽，噪聲不可避免地會(huì)出現(xiàn)在最終的偽標(biāo)簽中；

(3)使用k-means聚類方法需要手動(dòng)設(shè)置聚類個(gè)數(shù)，而聚類個(gè)數(shù)的不同值對于聚類效果的影響很大，而無監(jiān)督跨域行人重識別作為一個(gè)開放集任務(wù)，我們不知道目標(biāo)域中類別的個(gè)數(shù)。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于聚類的無監(jiān)督跨域行人重識別方法。引入注意力模塊關(guān)注用于區(qū)分身份的關(guān)鍵區(qū)域，從而避免因遮擋，光照等因素產(chǎn)生的干擾；提出全局聯(lián)合池化操作，通過對全局最大池化和全局平均池化結(jié)果融合，得到信息更加豐富，辨識度更高的特征向量；提出聯(lián)合靈活優(yōu)化損失函數(shù)，實(shí)現(xiàn)對軟偽標(biāo)簽和硬偽標(biāo)簽的聯(lián)合利用，實(shí)現(xiàn)分類損失的靈活優(yōu)化；選用更加適用于現(xiàn)實(shí)場景的聚類方法，無需人為指定聚類類別數(shù)，從而獲得更好的聚類效果。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于聚類的無監(jiān)督跨域行人重識別方法，包括如下步驟：

(1)搭建用于預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)；

(11)搭建特征提取模塊，引入自注意力機(jī)制；

(12)搭建全局聯(lián)合池化模塊；

(13)搭建分類器；

(2)將源域有標(biāo)簽的數(shù)據(jù)輸入由步驟(1)得到的預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，做有監(jiān)督的預(yù)訓(xùn)練；

(21)以初始化種子1初始化預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練得到模型參數(shù)θ1；

(22)以初始化種子2初始化預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練得到模型參數(shù)θ2；

(3)搭建用于微調(diào)的雙流相互學(xué)習(xí)網(wǎng)絡(luò)框架；