[發明專利]基于文本輔助特征對齊模型的受損行人圖像再識別方法及裝置

在審

• 申請號: 202210242707.8
• 申請日: 2022-03-11
• 公開（公告）號: CN114596588A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 洪金城;鄭偉詩;秦家銀
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06F16/583;G06V10/74;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了基于文本輔助特征對齊模型的受損行人圖像再識別方法及裝置，包括：構建文本輔助特征對齊模型，對文本輔助特征對齊模型進行訓練，訓練過程分為兩個階段，第一階段為語句層面特征提取，第二階段為名詞短語層面特征對齊；將測試集中的受損圖像輸入到深度卷積神經網絡?Corrupted以及全局平均池化層中提取得到受損圖像特征向量；將參考集中的正常圖像輸入到深度卷積神經網絡?Normal以及全局平均池化層中提取得到未受損圖像特征向量；使用測試集提取得到的受損特征向量與參考集提取得到的未受損特征向量進行相似度計算。本發明能高效地檢索出受損的行人圖像在正常行人數據庫中相同身份的正常圖像，提高行人再識別方法在實際應用場景中的魯棒性。

技術領域

本發明屬于圖像識別的技術領域，具體涉及一種基于文本輔助特征對齊模型的受損行人圖像再識別方法及裝置。

背景技術

近年來，為了提高行人再識別方法在實際應用場景中的準確性和魯棒性，一些方法不再只針對正常情況下的高質量行人圖像進行研究，而是針對各種可能產生的圖像受損情形，設計模型來減輕受損導致的行人再識別性能的下降。常見的圖像受損情形有攝像頭與行人間距過大或攝像頭配置較低導致的圖像低分辨率問題；行人在密集場景中外觀隨著遮擋物體發生顯著變化的遮擋問題；由于環境光變化劇烈導致捕獲的圖像過曝或欠曝的光照異常問題；由于鏡頭種類不同導致的鏡頭畸變或魚眼問題。

現有技術中的行人再識別方法有INTACT模型、PVPM模型和IID模型：

(1)INTACT模型針對的是低分辨率行人再識別任務，使用了生成式對抗網絡(GAN)來提升原始低分辨率圖像的分辨率；生成式對抗網絡由生成模型和判別模型組成，生成模型負責生成盡可能真實的所需圖像，判別模型負責鑒別輸入圖像的真假，二者在訓練過程中互相博弈，使得最終得到的生成模型性能更強。

(2)PVPM模型針對的是遮擋行人再識別任務，使用姿態估計網絡計算人體各個部位的可見分數，實現圖像層面的人體部位對齊；PVPM模型由三個模塊組成姿態引導的可視化預測模塊、姿態引導的注意力模塊和特征對應模塊；姿態引導的可視化預測模塊通過已訓練好的姿態估計網絡提取出輸入行人圖像的關鍵點熱力圖，經由姿態編碼器處理后預測出行人各個身體部分的可見概率。

(3)IID模型針對的是光照異常行人再識別任務，嘗試分離圖像的光照信息。IID模型使用自編碼器結構，通過編碼器分離出圖像的身份特征和光照特征，再使用生成器將分離的兩者特征恢復回原始圖像。

但是上述方法中，由于各種不同的環境因素的干擾，會造成行人圖像分辨率低、環境物體遮擋行人、圖像光照異常等圖像受損情形。這些圖像受損問題會導致行人圖像中能用于行人匹配的有效信息的丟失，最終提取得到的特征向量含有的信息量遠少于正常圖像特征所含有的信息量。而在進行特征向量匹配時，信息量的不一致會影響匹配的準確率，從而導致行人再識別模型的檢索性能下降。

發明內容

本發明的主要目的在于克服現有技術的缺點與不足，提供一種基于文本輔助特征對齊模型的受損行人圖像再識別方法及裝置，基于跨模態特征輔助的特征對齊模型，高效地檢索出受損的行人圖像在正常行人數據庫中相同身份的正常圖像，提高行人再識別方法在實際應用場景中的魯棒性。

為了達到上述目的，本發明采用以下技術方案：

本發明一方面提供了基于文本輔助特征對齊模型的受損行人圖像再識別方法，包括下述步驟：