[發明專利]一種基于域無關前景特征學習的行人再識別方法

有效

• 申請號: 202011210554.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112464730B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 李旻先;沈賢文
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/26;G06V10/82;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 張玲

本發明屬于計算機視覺和模式識別領域，具體涉及一種基于域無關前景特征學習的行人再識別方法。該方法設計了一種域無關特征學習的深度神經網絡，聯合使用實例歸一化和批量歸一化，實現對圖像內容的域無關特征學習；基于該網絡，同時設計了一種基于行人語義分割的前景特征表示模型，通過對行人語義部分的特征建模，排除背景干擾，實現域無關的行人前景特征表示學習；該方法首先利用行人語義分割算法獲取到行人前景圖像，再聯合實例歸一化和批量歸一化的深度卷積神經網絡提取特征，然后利用損失函數約束模型訓練。本發明提出的方法能夠有效增強行人再識別模型的跨域泛化性能。

技術領域

本發明屬于計算機視覺和模式識別領域，具體涉及一種基于域無關前景特征學習的行人再識別方法。

背景技術

計算機視覺近幾年來一直是研究的熱點和難點，而行人再識別作為圖像檢索的一個子問題，在安防領域和智慧城市有重要的應用意義。行人再識別需要對監控畫面中行人實現跨攝像頭檢索的功能。行人再識別研究的對象是人的整體特征，包括衣著、體型、發型、姿態等，可以與人臉識別、行人跟蹤等結合，可廣泛應用于攝像頭監控、智慧城市、智能零售等領域，在理論和實踐中都有重要的意義。

行人再識別的有監督學習和同域方法研究已經十分成熟，在現有的數據集上都取得了較好的檢索效果，但是基于無監督的跨域行人再識別技術仍是比較大的挑戰。不同行人再識別數據集之間的差異較大，這些差異可以分為不同攝像設備之間的差異和行人特性差異兩種。不同攝像設備之間的差異包括光線差異、室內外場景差異、監控圖像分辨率低、圖像模糊不清、攝像機拍攝視角不同等。行人特性差異包括行人衣著、遮擋、行人姿態變化、行人更換服裝配飾等。

由于上述不同數據集之間的差異，當模型在一個數據集上訓練完之后，直接在其他的數據集上進行測試，性能會出現非常明顯的下降。此外，傳統的行人再識別方法往往使用包含背景的行人圖像進行模型的訓練，這會導致模型學習到背景噪聲，從而降低了跨域行人再識別的性能。

發明內容

本發明的目的在于提供一種基于域無關前景特征學習的行人再識別方法。

實現本發明目的的技術解決方案為：一種基于域無關前景特征學習的行人再識別方法，包括如下步驟：

步驟(1)：利用行人圖像和語義標簽訓練行人語義分割模型，在行人語義分割模型的訓練過程中不斷根據自我學習更新標簽，輸出更新標簽后的行人語義分割模型；

步驟(2)：將多個攝像頭下采集到的行人圖像輸入到步驟(1)中獲得的行人語義分割模型中獲得行人掩模圖像；

步驟(3)：將行人掩模圖像二值化后和對應的行人圖像進行點乘，獲得行人前景圖像；

步驟(4)：在基礎網絡的淺層添加實例歸一化，深層添加批量歸一化設計一種具有跨域泛化能力的深度神經網絡；

步驟(5)：將步驟(3)中獲得的行人前景圖像輸入到步驟(4)中的具有跨域泛化能力的深度神經網絡中，并輸出訓練好的具有跨域泛化性能的行人再識別模型；

步驟(6)：將待檢索圖像和數據庫中圖像輸入到步驟(5)中獲得的行人再識別模型中提取行人特征，計算特征之間的距離以度量其相似度。

進一步的，所述步驟(1)中的行人語義分割模型在進行語義分割時，將行人圖像分為行人部分和背景部分，行人部分分為頭部、身體軀干、大臂、小臂、大腿、小腿6個部分。

進一步的，所述步驟(4)具體為：

步驟(4-1)：在基礎網絡的淺層中添加實例歸一化，從而去除圖像上風格相關的特征，實例歸一化的公式為：