[發(fā)明專利]基于行人解析的多流多標(biāo)簽行人再識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011387800.5
• 申請(qǐng)日: 2020-12-01
• 公開（公告）號(hào): CN112418134A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 王其聰;王旭
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué);廈門大學(xué)深圳研究院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

基于行人解析的多流多標(biāo)簽行人再識(shí)別方法，涉及計(jì)算機(jī)視覺技術(shù)。準(zhǔn)備行人再識(shí)別方向數(shù)據(jù)集，通過行人解析模型對(duì)行人圖片進(jìn)行解析，獲取行人上半身、下半身以及全身的掩模，根據(jù)獲得的掩模設(shè)計(jì)多支流的注意力機(jī)制網(wǎng)絡(luò)模型；根據(jù)掩模對(duì)行人身體區(qū)域進(jìn)行色調(diào)調(diào)整，改變圖片中行人衣服的顏色，然后作為新的一個(gè)行人類別，擴(kuò)充數(shù)據(jù)集；將新擴(kuò)充的數(shù)據(jù)集制作雙標(biāo)簽結(jié)構(gòu)的數(shù)據(jù)集，每個(gè)行人均有對(duì)應(yīng)的兩個(gè)標(biāo)簽，分別設(shè)置不同的置信度，提出多標(biāo)簽分類損失函數(shù)，利用訓(xùn)練好的網(wǎng)絡(luò)模型，對(duì)測(cè)試集圖像進(jìn)行特征表示，并且進(jìn)行之后的相似性比較和排序。在多個(gè)公開數(shù)據(jù)集上都取得較好的識(shí)別性能，有效緩解背景雜亂、遮擋等問題對(duì)于行人再識(shí)別方向的干擾。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，具體是涉及一種基于行人解析的多流多標(biāo)簽行人再識(shí)別方法。

背景技術(shù)

行人再識(shí)別是目前計(jì)算機(jī)視覺方向研究熱點(diǎn)之一，隨著現(xiàn)代社會(huì)的發(fā)展，智能安防領(lǐng)域受到了越來越多人的關(guān)注，行人再識(shí)別作為智能安防領(lǐng)域非常重要的研究方向之一也得到了各界廣泛的重視，促進(jìn)了行人再識(shí)別領(lǐng)域快速發(fā)展。但是行人再識(shí)別方向仍然存在大量的問題，如數(shù)據(jù)集規(guī)模數(shù)量較少、行人圖片的背景雜亂以及遮擋問題等。目前大部分研究工作是利用深度神經(jīng)網(wǎng)絡(luò)去解決行人再識(shí)別方向的問題，在模型訓(xùn)練階段，將行人再識(shí)別作為分類任務(wù)，然后在測(cè)試階段提取特征進(jìn)行相似性比較。

行人再識(shí)別方向的數(shù)據(jù)集均是由多個(gè)無重疊視域的攝像頭拍攝所得，因此用于行人再識(shí)別任務(wù)的數(shù)據(jù)集圖片中包含了復(fù)雜的背景因素的干擾，行人再識(shí)別任務(wù)是去判斷不同攝像頭拍攝到的圖片中的行人是不是同一個(gè)人，因此復(fù)雜的背景因素對(duì)于行人再識(shí)別任務(wù)的影響較大，在用深度神經(jīng)網(wǎng)絡(luò)去提取特征的過程中，會(huì)帶來較多的干擾信息。另外，由于攝像頭拍攝以及之后檢測(cè)方法效果等原因，導(dǎo)致行人區(qū)域所在邊緣框中的面積比例也是差異明顯的，正常檢測(cè)到的行人往往占據(jù)了邊緣框較大的面積區(qū)域，而有的行人所占圖片中的比例較小，也會(huì)影響到模型的進(jìn)一步學(xué)習(xí)，而目前大多數(shù)方法都沒有考慮到該問題對(duì)于模型學(xué)習(xí)的影響。由于圖片均是由攝像頭隨機(jī)拍攝所得，因此遮擋問題對(duì)于行人再識(shí)別任務(wù)的影響也較為顯著，其中Zhong等人(Z.Zhong,L.Zheng,G.Kang,S.Li,and Y.Yang,“Random erasing data augmentation,”arXiv preprint arXiv:1708.04896,2017.)提出了一種數(shù)據(jù)增強(qiáng)的方法，以一定概率對(duì)圖片中區(qū)域進(jìn)行擦除，該方法也可以部分處理遮擋問題，但是該方法沒有從模型設(shè)計(jì)的角度以及圖片中行人所在的空間結(jié)構(gòu)的角度進(jìn)行考慮，而這恰恰能夠有效處理遮擋問題。

發(fā)明內(nèi)容

本發(fā)明目的在于針對(duì)現(xiàn)有行人再識(shí)別模型中存在的上述技術(shù)問題，提供一種基于行人解析的多流多標(biāo)簽行人再識(shí)別方法。

本發(fā)明包括以下步驟：

1)準(zhǔn)備行人再識(shí)別方向數(shù)據(jù)集；

2)設(shè)計(jì)基于行人解析的多流注意力行人再識(shí)別網(wǎng)絡(luò)模型結(jié)構(gòu)，通過該網(wǎng)絡(luò)模型來提取行人更具判別力的特征；

3)借助行人解析模型，對(duì)已經(jīng)準(zhǔn)備好的數(shù)據(jù)集進(jìn)行擴(kuò)充，得到新擴(kuò)充的數(shù)據(jù)集；

4)設(shè)計(jì)多標(biāo)簽分類損失函數(shù)；

5)設(shè)計(jì)多流多任務(wù)損失優(yōu)化函數(shù)；

6)在大規(guī)模圖像數(shù)據(jù)上，利用反向傳播算法對(duì)主干網(wǎng)絡(luò)ResNet50網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練的ResNet50模型；

7)在預(yù)訓(xùn)練的ResNet50模型的基礎(chǔ)上，使用擴(kuò)充后的行人再識(shí)別數(shù)據(jù)集，并且利用已經(jīng)設(shè)計(jì)好的多任務(wù)損失優(yōu)化函數(shù)計(jì)算模型帶來的損失，利用反向傳播算法對(duì)整個(gè)構(gòu)建好的模型進(jìn)行端到端訓(xùn)練，得到最終訓(xùn)練好的模型；

8)利用訓(xùn)練好的模型進(jìn)行行人重識(shí)別，將最終網(wǎng)絡(luò)模型的輸出特征作為行人圖像的特征表示并且用于之后的相似性度量和排序。