[發明專利]基于相關性濾波的文本行人重識別方法

在審

• 申請號: 202210278509.7
• 申請日: 2022-03-16
• 公開（公告）號: CN115082704A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 王鵬;索偉;孫夢陽;賴嵐清
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V10/62
• 分類號: G06V10/62;G06V10/75;G06V10/80;G06V10/82;G06K9/62;G06F16/33;G06F16/36;G06F40/242;G06F40/289;G06N3/04
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明涉及一種基于相關性濾波的文本行人重識別方法，屬于計算機視覺技術領域。包含三個部分，第一部分為提取行人圖像特征和文本特征過程；第二部分為基于去噪濾波器來提取圖像和關鍵詞候選區域并進行全局特征的對齊；第三部分為基于字典濾波器的圖像和文本的局部特征匹配過程，最終實現基于文本的行人重識別。本發明有效提取了行人圖像和文本描述中的關鍵信息，同時自適應的進行局部特征的對齊，擺脫了對預處理方法的依賴，滿足實時處理的需求。

技術領域

本發明屬于計算機視覺技術領域，具體涉及到一種基于相關性濾波的文本行人重識別方法。

背景技術

文本行人重識別任務是指通過建立自然語言和行人圖像的關系，從指定圖庫中檢索出與描述文本最相關的行人圖像。由于該技術在智能監控、目標跟蹤、人員搜救等領域具有極高的應用價值，引發了工業界的廣泛關注與研究。然而，一方面，這項任務需要全面深入的理解復雜的自然語言和各種場景下的行人圖像，另一方面，待識別圖像的光照飽和度，實例姿態、分辨率隨拍攝場景、拍攝時間、拍攝角度變化而不斷變化，這都給基于文本的行人重識別帶來了較大困難。

目前基于文本的行人重識別方法大多引入預處理方法以獲取關鍵詞和圖像候選區域，然后再實現文本與圖像的匹配。這些框架不可避免的受限于預處理方法的檢索能力，同時昂貴的計算代價無法滿足智能監控等應用的實時處理需求。

發明內容

要解決的技術問題

為了克服現有技術不足，本發明提供了一種輕量和魯棒的基于相關性濾波的行人重識別方法，該方法實現了自適應提取關鍵信息和實時處理的要求。

技術方案

一種基于相關性濾波的文本行人重識別方法，其特征在于步驟如下：

步驟1：圖像特征的提取

給定一張自然場景中的行人圖片及對應的文本描述，使用雙線性插值法把行人圖片調整為384×128，并使用隨機水平翻轉來進行數據增強；輸入到ResNet-50卷積神經網絡得到圖像特征

步驟2：文本特征的提取

給定的文本描述語句分解為詞，通過詞嵌入后得到各個詞對應的特征向量；規定最長的語句長度為64，將經過位置編碼后的詞向量輸入進Bert網絡中，得到融合語句信息的各個詞匯的特征向量

步驟3：利用去噪過濾器的特征增強

將圖像特征與文本特征分別輸入到模型的全局對齊模塊；在去噪濾波器模塊中，以圖像特征為例，將前景(foreground)濾波器v_f∈R¹⁰²⁴、背景(background)濾波器v_b∈R¹⁰²⁴和圖像特征作為輸入，經過該模塊后得到抑制背景噪聲的圖像特征類似地，得到抑制不相關詞的文本特征

步驟4：行人圖像及文本的全局對齊

把經過前一階段進行特征增強后的圖像特征和作為輸入，經過全局最大池化層(GMP)后得到全局圖像特征g_g∈R¹⁰²⁴和全局文本特征e_g∈R¹⁰²⁴，得到全局水平的相似度矩陣S_g∈R¹；

步驟5：利用字典濾波器的局部特征提取

在定義自適應的字典濾波器D_g∈R^6×1024的情況下，分別將圖像特征和作為輸入；其中，圖像特征直接輸入到字典濾波器中，得到描述行人身體6個不同部分的圖像局部特征文本特征先經過多分支全連接層，再輸入到字典濾波器中，得到描述行人身體6個不同部分的文本局部特征

步驟6：行人圖像及文本的局部和非局部特征對齊