[發(fā)明專利]基于相關(guān)性濾波的文本行人重識別方法

在審

• 申請?zhí)枺?/td>: 202210278509.7
• 申請日: 2022-03-16
• 公開（公告）號: CN115082704A
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計）人: 王鵬;索偉;孫夢陽;賴嵐清
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06V10/62
• 分類號: G06V10/62;G06V10/75;G06V10/80;G06V10/82;G06K9/62;G06F16/33;G06F16/36;G06F40/242;G06F40/289;G06N3/04
• 代理公司: 西安凱多思知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于相關(guān)性濾波的文本行人重識別方法，其特征在于步驟如下：

步驟1：圖像特征的提取

給定一張自然場景中的行人圖片及對應(yīng)的文本描述，使用雙線性插值法把行人圖片調(diào)整為384×128，并使用隨機水平翻轉(zhuǎn)來進行數(shù)據(jù)增強；輸入到ResNet-50卷積神經(jīng)網(wǎng)絡(luò)得到圖像特征g_i∈R¹⁰²⁴；

步驟2：文本特征的提取

給定的文本描述語句分解為詞，通過詞嵌入后得到各個詞對應(yīng)的特征向量；規(guī)定最長的語句長度為64，將經(jīng)過位置編碼后的詞向量輸入進Bert網(wǎng)絡(luò)中，得到融合語句信息的各個詞匯的特征向量e_t∈R¹⁰²⁴；

步驟3：利用去噪過濾器的特征增強

將圖像特征g_i∈R¹⁰²⁴與文本特征e_t∈R¹⁰²⁴分別輸入到模型的全局對齊模塊；在去噪濾波器模塊中，以圖像特征為例，將前景(foreground)濾波器v_f∈R¹⁰²⁴、背景(background)濾波器v_b∈R¹⁰²⁴和圖像特征作為輸入，經(jīng)過該模塊后得到抑制背景噪聲的圖像特征類似地，得到抑制不相關(guān)詞的文本特征

步驟4：行人圖像及文本的全局對齊

把經(jīng)過前一階段進行特征增強后的圖像特征和作為輸入，經(jīng)過全局最大池化層(GMP)后得到全局圖像特征g_g∈R¹⁰²⁴和全局文本特征e_g∈R¹⁰²⁴，得到全局水平的相似度矩陣S_g∈R¹；

步驟5：利用字典濾波器的局部特征提取

在定義自適應(yīng)的字典濾波器D_g∈R^6×1024的情況下，分別將圖像特征和作為輸入；其中，圖像特征直接輸入到字典濾波器中，得到描述行人身體6個不同部分的圖像局部特征文本特征先經(jīng)過多分支全連接層，再輸入到字典濾波器中，得到描述行人身體6個不同部分的文本局部特征

步驟6：行人圖像及文本的局部和非局部特征對齊

將圖像局部特征和文本局部特征輸入到局部對齊模塊中，得到局部水平的相似度矩陣再將圖像局部特征G_l和文本局部特征E^f輸入到基于自注意力的局部關(guān)系學(xué)習(xí)模塊中，得到非局部水平的相似度矩陣輸出S_n∈R¹；

步驟7：行人圖像及文本匹配

利用所得到的全局水平的相似度矩陣S_g∈R¹、局部水平的相似度矩陣非局部水平的相似度矩陣輸出S_n∈R¹進行求和，即輸入的圖像文本對的相似分數(shù)得到最終的匹配結(jié)果。