[發明專利]一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法

有效

• 申請號: 202011426322.4
• 申請日: 2020-12-09
• 公開（公告）號: CN112396036B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 鄭偉詩;張鎵偉
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/764;G06V10/74;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，其特征在于，包括下述步驟：

利用模擬遮擋生成器在一個行人數據集上構建有遮擋的行人圖片；具體包括以下步驟：

設原始圖片img的大小為w*h，提取img的四個頂點的像素值img[0,0],img[0,h-1]，img[w-1,0]以及img[w-1,h-1]，求出所述四個頂點的平均像素值C，計算公式如下：

C＝(img[0,0]+img[0,h-1]+img[w-1,0]+img[w-1,h-1])/4；

隨機選取一個矩形局域：

AREA＝[X_random,Y_random,X_random+w′,Y_random+h′]；

其中X_random,Y_random表示矩形左上角坐標，X_random+w′,Y_random+h′表示矩形右下角坐標，滿足w′＝min(w,50),h′＝min(h,50且矩形區域不超出原圖的范圍；

使用C替換該矩形區域的像素值，得到一張有遮擋的行人圖片；

將原始行人圖片與新生成的有遮擋的行人圖片組成新的數據集，并將新的數據集輸入到空間變換網絡中進行空間變換糾正；所述空間變換網絡用于對新的數據集中的圖片進行自動裁剪、平移、縮放，使圖片只保留人的部分，得到糾正后的圖片；所述空間變換網絡包括：定位網絡、坐標生成器和采樣器；

所述定位網絡利用一個小卷積神經網絡提取圖片特征，并將所述圖片特征通過全連接回歸層得到6個變換參數；

所述坐標生成器用于根據所述變換參數構建采樣網絡，即得到一種映射關系T_θ，具體為：

其中表示輸入空間變換網絡中的圖片U的第i個像素點的坐標，表示目標圖像V的第i個像素點的坐標,θ為定位網絡得到的6個變換參數；

所述采樣器用于根據采樣網絡所得的映射關系對輸入空間變換網絡中的圖片U進行像素級采樣復制得到目標圖像V；所述采樣器采用雙線性采樣，計算公式如下：

其中，H、W、C分別為輸入空間變換網絡中的圖片U的高、寬和通道數，為輸入空間變換網絡中的圖片U的第c個通道中坐標為(n,m)的像素點的值，H′、W′分別表示目標圖像V的高和寬，V_i^c表示目標圖像V第c個通道中第i個像素點的值；

利用卷積神經網絡和空間金字塔池化層對所述糾正后的圖片進行多尺度特征提取并合成定長一維特征向量；

將所述定長一維特征向量通過全連接層得到一個包含K個元素的一維特征向量，再進行行人圖像的身份分類訓練，得到訓練好的網絡；

利用所述訓練好的網絡提取待查詢的行人圖像的特征并進行相似度匹配。

2.根據權利要求1所述的一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，其特征在于，所述卷積神經網絡采用調整后的ResNet50，具體為：采用原始ResNet50的第一層卷積層到第五層卷積層結構并對最后一層卷積層結構執行放大操作，得到比原輸出的特征圖大一倍的特征圖表示。

3.根據權利要求2所述的一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，其特征在于，所述的放大操作為將第五層卷積層結構的卷積核步長由原始的2改為1。

4.根據權利要求1所述的一種結合空間變換網絡和多尺度特征提取的遮擋行人重識別方法，其特征在于，所述空間金字塔池化層用于將任意大小的輸入圖片輸出成多個不同固定大小的特征圖，并將所述多個不同固定大小的特征圖各自展開成一維特征向量并通過concat操作合并成一個定長一維特征向量。