[發明專利]一種基于域無關前景特征學習的行人再識別方法

有效

• 申請號: 202011210554.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112464730B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 李旻先;沈賢文
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/26;G06V10/82;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 張玲

1.一種基于域無關前景特征學習的行人再識別方法，其特征在于，包括如下步驟：

步驟(1)：利用行人圖像和語義標簽訓練行人語義分割模型，在行人語義分割模型的訓練過程中不斷根據自我學習更新標簽，輸出更新標簽后的行人語義分割模型；

步驟(2)：將多個攝像頭下采集到的行人圖像輸入到步驟(1)中獲得的行人語義分割模型中獲得行人掩模圖像；

步驟(3)：將行人掩模圖像二值化后和對應的行人圖像進行點乘，獲得行人前景圖像；

步驟(4)：在基礎網絡的淺層添加實例歸一化，深層添加批量歸一化設計一種具有跨域泛化能力的深度神經網絡；

步驟(5)：將步驟(3)中獲得的行人前景圖像輸入到步驟(4)中的具有跨域泛化能力的深度神經網絡中，并輸出訓練好的具有跨域泛化性能的行人再識別模型；

步驟(6)：將待檢索圖像和數據庫中圖像輸入到步驟(5)中獲得的行人再識別模型中提取行人特征，計算特征之間的距離以度量其相似度。

2.根據權利要求1所述的方法，其特征在于，所述步驟(1)中的行人語義分割模型在進行語義分割時，將行人圖像分為行人部分和背景部分，行人部分分為頭部、身體軀干、大臂、小臂、大腿、小腿6個部分。

3.根據權利要求2所述的方法，其特征在于，所述步驟(4)具體為：

步驟(4-1)：在基礎網絡的淺層中添加實例歸一化，從而去除圖像上風格相關的特征，實例歸一化的公式為：

上述公式中的F為行人前景圖像經過深度神經網絡提取出的特征，F∈R^N×C×H×W，N為這個批次中的圖像數量，C為通道數，H×W為圖像的大小；沿著通道計算每張圖像的均值μ和標準差σ，γ為縮放變量，β為平移變量；

步驟(4-2)：在基礎網絡的深層中添加批量歸一化，從而學習行人個體之間的差異，批量歸一化的公式為：

上述公式中的x_n為這個批次中的第n張圖像，n∈1,2,3,…,N，N為這個批次的圖像數量，對第n張圖像經過深度神經網絡提取出的特征進行池化得到f(x_n)，f(x_n)∈R^N×C×1×1，C為通道數，按通道計算每個批次的均值μ和標準差σ，γ為縮放變量，β為平移變量。

4.根據權利要求3所述的方法，其特征在于，步驟(4)中以殘差網絡為基礎網絡，則在基礎網絡的conv2，conv3，conv4中的最后一個殘差塊中添加實例歸一化；殘差塊依次包含1×1的卷積，批量歸一化，3×3的卷積，批量歸一化，1×1的卷積，批量歸一化，實例歸一化，ReLU激活函數， 在基礎網絡的conv5后添加批量歸一化，其結構為池化層、批量歸一化、全連接層。

5.根據權利要求3所述的方法，其特征在于，所述步驟(4)中的具有跨域泛化能力的深度神經網絡的損失函數，其構建方法具體為：使用交叉熵損失作為分類損失函數，交叉熵描述了兩個概率之間的分布。