[發(fā)明專利]基于三模態(tài)一致性約束的跨模態(tài)行人再識(shí)別方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211239389.6
• 申請(qǐng)日: 2022-10-11
• 公開（公告）號(hào): CN115661857A
• 公開（公告）日: 2023-01-31
• 發(fā)明（設(shè)計(jì)）人: 何發(fā)智;司統(tǒng)振;唐偉;吳浩然
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/764;G06V10/82;G06V10/44;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明公開了一種基于三模態(tài)一致性約束的跨模態(tài)行人再識(shí)別方法和系統(tǒng)，該方法包括：構(gòu)建行人識(shí)別模型；融合彩色和紅外圖像，產(chǎn)生增強(qiáng)樣本；將彩色、紅外和增強(qiáng)圖像輸入模型，提取圖像特征圖；實(shí)施池化操作獲取圖像的整體和局部特征，輸入分類器完成分類任務(wù)；構(gòu)建三元中心損失，減少模態(tài)間的特征差異；構(gòu)建緊致的模態(tài)內(nèi)約束，減少模態(tài)內(nèi)的特征差異；聯(lián)合交叉熵、三元中心損失和緊致的模態(tài)內(nèi)約束，優(yōu)化行人識(shí)別模型；測試應(yīng)用階段，提取行人的整體與局部特征，并將其串聯(lián)進(jìn)行行人匹配，得到識(shí)別結(jié)果。本發(fā)明充分利用紅外和彩色圖像信息，產(chǎn)生增強(qiáng)圖像減少模態(tài)間差異，構(gòu)建損失解決模態(tài)內(nèi)和模態(tài)間差異大問題，提高了跨模態(tài)行人再識(shí)別的匹配正確率。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識(shí)別、人工智能領(lǐng)域，具體涉及基于異構(gòu)增強(qiáng)樣本一致性約束的跨模態(tài)行人再識(shí)別方法及計(jì)算系統(tǒng)。

背景技術(shù)

行人再識(shí)別(Person Re-Identification)目的是在不同的監(jiān)控?cái)z像頭中搜索相同的行人，其在監(jiān)控視頻、安防等領(lǐng)域具有重大的應(yīng)用價(jià)值。然而一般的單模態(tài)行人再識(shí)別方法只研究白天拍攝的彩色圖像，探索在彩色圖像中提取魯棒性的行人特征，存在的很多單模態(tài)方法已經(jīng)實(shí)現(xiàn)超過人眼的性能。但是，這些單模態(tài)方法不能在夜晚拍攝的紅外圖像中提取有效的行人信息，從而不能在夜晚進(jìn)一步應(yīng)用，這限制了行人再識(shí)別的應(yīng)用價(jià)值。跨模態(tài)的行人再識(shí)別方法可以同時(shí)學(xué)習(xí)白天拍攝的彩色圖像和夜晚拍攝的紅外圖像的行人特征，具有在夜晚進(jìn)行行人識(shí)別的價(jià)值，擁有重要的實(shí)際意義。

目前，一些存在的跨模態(tài)行人再識(shí)別方法利用對(duì)抗網(wǎng)絡(luò)產(chǎn)生從一個(gè)模態(tài)到另一個(gè)模態(tài)的行人圖像。Wang等人設(shè)計(jì)對(duì)抗模型產(chǎn)生跨模態(tài)成對(duì)的行人圖像，然后在特征空間約束成對(duì)的跨模態(tài)圖像以減少模態(tài)間的差異。Choi等人構(gòu)建保存身份的生成模型，以產(chǎn)生具有不同光照、姿態(tài)的跨模態(tài)行人圖像，顯著提高了樣本的多樣性，促進(jìn)了行人檢索的精度。此外，一些工作提出有效的損失函數(shù)約束特征分布，以同時(shí)消除模態(tài)間和模態(tài)內(nèi)的特征差異。Zhu等人提出異構(gòu)中心損失限制不同模態(tài)的特征分布，以學(xué)習(xí)模態(tài)不變性特征。Ye等人提出具有排序損失的雙流網(wǎng)絡(luò)去減少彩色和紅外圖像之間的差異，其顯著提高了跨模態(tài)行人再識(shí)別的性能。然而，基于生成模型產(chǎn)生新圖像的方法很難從紅外圖像獲得有效的彩色信息，其產(chǎn)生的彩色圖像質(zhì)量較低，影響了跨模態(tài)行人再識(shí)別的行能。對(duì)于存在的約束損失，無法考慮像素水平的差異，很難同時(shí)消除模態(tài)內(nèi)和模態(tài)間的不同，造成差的泛化性能。

發(fā)明內(nèi)容

本發(fā)明的目的是要解決彩色圖像和紅外圖像差異過大，不能充分挖掘模態(tài)不變性特征的問題，實(shí)施消除模態(tài)間和模態(tài)內(nèi)特征差異大的技術(shù)問題，為此，本發(fā)明提供一種基于異構(gòu)增強(qiáng)樣本一致性約束的跨模態(tài)行人再識(shí)別方法及計(jì)算系統(tǒng)。

為了實(shí)現(xiàn)所述目的，本發(fā)明提出的基于異構(gòu)增強(qiáng)樣本一致性約束的跨模態(tài)行人再識(shí)別方法及計(jì)算系統(tǒng)包括以下步驟：

步驟S1，基于卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建行人識(shí)別模型；

步驟S2，基于圖像融合技術(shù)，融合彩色圖像和紅外圖像，產(chǎn)生異構(gòu)增強(qiáng)的行人圖像；

步驟S3，將彩色圖像、紅外圖像和異構(gòu)增強(qiáng)的圖像進(jìn)行預(yù)處理之后輸入構(gòu)建的行人識(shí)別模型，提取行人圖像的特征圖；

步驟S4，基于提取的特征圖，進(jìn)行池化操作獲取圖像的整體和局部特征，將這些特征輸入分類器完成分類任務(wù)，并利用交叉熵計(jì)算損失；

步驟S5，基于提取的整體和局部特征，構(gòu)建三元中心損失，減少模態(tài)間的特征差異；

步驟S6，基于提取的整體和局部特征，構(gòu)建緊致的模態(tài)內(nèi)約束，減少模態(tài)內(nèi)的特征差異；

步驟S7，聯(lián)合交叉熵?fù)p失、三元中心損失和緊致的模態(tài)內(nèi)約束損失，共同優(yōu)化構(gòu)建的行人識(shí)別模型；

步驟S8，基于所述優(yōu)化的行人識(shí)別模型，提取行人圖像的整體與局部特征，并將其串聯(lián)進(jìn)行行人匹配，得到行人識(shí)別結(jié)果。

可選地，所述步驟S1包括以下步驟：