[發(fā)明專利]基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法在審
| 申請(qǐng)?zhí)枺?/td> | 202210287731.3 | 申請(qǐng)日： | 2022-03-23 |
| 公開(kāi)（公告）號(hào)： | CN114743214A | 公開(kāi)（公告）日： | 2022-07-12 |
| 發(fā)明（設(shè)計(jì)）人： | 謝曉華;莊梓煜;賴劍煌 | 申請(qǐng)（專利權(quán)）人： | 中山大學(xué) |
| 主分類號(hào)： | G06V40/10 | 分類號(hào)： | G06V40/10;G06V10/30;G06V10/34;G06V10/28;G06V10/22;G06V10/40;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367 | 代理人： | 高冰 |
| 地址： | 510275 廣東*** | 國(guó)省代碼： | 廣東;44 |
| 權(quán)利要求書(shū)： | 查看更多 | 說(shuō)明書(shū)： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 基于 特征 加強(qiáng) 噪聲 通道 去除 遮擋 行人 識(shí)別 方法 | ||
1.基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法，包括訓(xùn)練階段和測(cè)試階段，其特征在于：所述訓(xùn)練階段步驟如下：
步驟一：開(kāi)始，輸入原始圖片；
步驟二：數(shù)據(jù)擴(kuò)增，通過(guò)遮擋生成器對(duì)原始圖片進(jìn)行數(shù)據(jù)擴(kuò)增；
步驟三：將圖片輸入網(wǎng)絡(luò)，數(shù)據(jù)擴(kuò)增后的圖片輸入到網(wǎng)絡(luò)；
步驟四：進(jìn)行損失計(jì)算、向后傳播，將輸入到網(wǎng)絡(luò)的圖片通過(guò)前景生成特征加強(qiáng)模塊進(jìn)行損失計(jì)算，同時(shí)將損失計(jì)算后的圖片向后繼續(xù)傳播；
步驟五：達(dá)到迭代次數(shù)，將傳播后的圖片進(jìn)行迭代，在達(dá)到要求迭代次數(shù)后輸出；
所述測(cè)試階段步驟如下：
步驟一：開(kāi)始，輸入原始圖片；
步驟二：將圖片輸入網(wǎng)絡(luò)，將輸入原始圖片輸入到網(wǎng)絡(luò)；
步驟三：特征提取，對(duì)輸入的圖片與搜索的圖片進(jìn)行特征提取；
步驟四：通道丟棄精練特征，通過(guò)噪聲通道丟棄方法，得到最終精煉的特征；
步驟五：度量距離計(jì)算，用得到的兩個(gè)最終精煉的特征計(jì)算余弦度量距離。
2.根據(jù)權(quán)利要求1所述的基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法，其特征在于：所述訓(xùn)練階段步驟二中所述遮擋生成器通過(guò)對(duì)隨機(jī)補(bǔ)片擦除方法進(jìn)行修改，不是用補(bǔ)片縮放大小后進(jìn)行原始區(qū)域替換，而是與原始區(qū)域的內(nèi)容進(jìn)行線性疊加，稱為混合遮擋方法，由如下步驟組成：
(101)輸入原始圖片I以及各個(gè)參數(shù)；
(102)隨機(jī)選擇一個(gè)需要遮擋的區(qū)域，設(shè)其中的內(nèi)容為I0；
(103)從原圖中隨機(jī)取出一個(gè)補(bǔ)片，其面積大小SP；
(104)把SP用插值算法縮放到S0的大小,設(shè)縮放后得到的內(nèi)容為IP；
(105)把行人圖片I中S0區(qū)域的內(nèi)容替換為原始內(nèi)容和補(bǔ)片內(nèi)容的疊加
(106)輸出最終形成的帶有遮擋的行人圖片。
3.根據(jù)權(quán)利要求1所述的一種基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法，其特征在于：所述訓(xùn)練階段步驟四中所述前景生成特征加強(qiáng)模塊，由如下步驟組成：
(107)給定原始行人圖片I，利用Resnet50作為基本的網(wǎng)絡(luò)骨架，通過(guò)FG模塊生成行人偽前景PF；
(108)用偽前景PF乘以前面網(wǎng)絡(luò)骨架第三層的特征圖，再往后傳播，進(jìn)一步加強(qiáng)前景信息的提取，加強(qiáng)梯度向前景區(qū)域的流動(dòng)，進(jìn)一步排除遮擋噪聲的干擾，加強(qiáng)最后的識(shí)別精度；
(109)用前景熱圖H對(duì)特征圖進(jìn)行加權(quán)得到特征向量；
(110)為了能夠有效地提取行人前景信息，使用行人身份分類損失和三元組損失對(duì)這個(gè)特征向量進(jìn)行監(jiān)督。
4.根據(jù)權(quán)利要求3所述的基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法，其特征在于：所述生成準(zhǔn)確的行人前景對(duì)前景生成特征加強(qiáng)模塊至關(guān)重要，由于行人重識(shí)別數(shù)據(jù)集缺乏真實(shí)的行人前景標(biāo)簽，可使用網(wǎng)絡(luò)的先驗(yàn)信息生成自監(jiān)督信號(hào)對(duì)行人前景進(jìn)行監(jiān)督，由如下步驟組成：
(111)首先對(duì)F4沿著通道方向求和得到B；
(112)特征激活圖中較大值的區(qū)域通常會(huì)對(duì)應(yīng)于前景區(qū)域，特征激活圖較小值的區(qū)域通常會(huì)對(duì)應(yīng)于背景區(qū)域，對(duì)B中最大值點(diǎn)置為1，最小值點(diǎn)置為0，得到自監(jiān)督信號(hào)D；
(113)利用自監(jiān)督信號(hào)D對(duì)前景生成模塊生成的前景H進(jìn)行監(jiān)督，所用的監(jiān)督信號(hào)位二進(jìn)制交叉熵?fù)p失。
5.根據(jù)權(quán)利要求1所述的基于特征加強(qiáng)和噪聲通道去除的遮擋行人重識(shí)別方法，其特征在于：所述所述測(cè)試階段步驟四中所述噪聲通道丟棄方法主要是根據(jù)提取的特征向量計(jì)算得到通道掩模，通道掩模對(duì)特征通道進(jìn)行丟棄，得到最終精煉的特征，再用兩個(gè)特征計(jì)算余弦度量距離，其具體步驟如下：
(114)得到查詢圖片Iq和待搜索圖片Ig，通過(guò)網(wǎng)絡(luò)的前向過(guò)程得到查詢圖片和待搜索圖片各自的特征向量fq和fg；
(115)使用了特征向量的平均值的一定比例作為一個(gè)Mask，大于這個(gè)閾值的區(qū)域被設(shè)為原始值，小于的被設(shè)為0，Query圖片的特征向量和Gallery圖片的特征向量都可以提取出它們相應(yīng)Mask；
(116)根據(jù)Mask對(duì)前面的特征向量進(jìn)行精煉，丟棄帶有噪聲的通道；
(117)根據(jù)精煉的特征計(jì)算余弦度量距離。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中山大學(xué)，未經(jīng)中山大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購(gòu)買(mǎi)此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請(qǐng)聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210287731.3/1.html，轉(zhuǎn)載請(qǐng)聲明來(lái)源鉆瓜專利網(wǎng)。
