[發明專利]一種基于多層融合與對齊劃分的行人重識別方法

在審

• 申請號: 202010653250.0
• 申請日: 2020-07-08
• 公開（公告）號: CN111881780A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 宋曉寧;王鵬;馮振華
• 申請（專利權）人: 上海蠡圖信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 朱寶慶

1.一種基于多層融合與對齊劃分的行人重識別方法，其特征在于：包括以下步驟，

構建行人重識別網絡模型并訓練；

利用所述網絡模型中多層融合模塊將不同層次的特征圖與最后一層的特征圖進行融合，得到最終包含淺層特征信息的多層融合特征；

利用所述網絡模型中對齊劃分模塊提取行人的中心位置，然后將所述中心位置向兩邊擴展，得到行人精確分割局部區域的局部特征；

將所述多層融合特征、所述局部特征和全局特征按照通道維度連接，得到最終的行人判別特征完成行人重識別。

2.如權利要求1所述的基于多層融合與對齊劃分的行人重識別方法，其特征在于：所述多層融合模塊包括，

采用改進的Non-local模塊；

所述Non-local模塊給定特征圖F∈R^C×H×W，其中C是特征圖的通道數、H×W表示特征圖的大小；

將F分為雙路通過卷積后計算得到空間特征相關矩陣X∈R^N×N，其中N＝H×W，使用EmbeddedGaussian函數來計算X：

其中x_i與x_j分別表示空間位置i與j處的特征值、x_ij表示空間位置i與j之間的相關性；

將所得的相關矩陣X與F相乘,得到的特征圖F′為

3.如權利要求1或2所述的基于多層融合與對齊劃分的行人重識別方法，其特征在于：所述多層融合模塊包括融合步驟，

給定兩個不同層次的特征圖與其中C₁，C₂分別是兩個特征圖的通道數、H₁×W₁與H₂×W₂表示特征圖的大小；

將較淺層的特征圖經過1×1的卷積層得到使其通道數C′₁＝C₂；

然后通過使用Non-local模塊的模型，計算兩個不同的特征圖的空間特征相關矩陣其中N₁＝H₁×W₁、N₂＝H₂×W₂；

得到如下：

其中y_i表示特征圖F₂的空間位置i處的特征值，y_j表示特征圖F₁′的空間位置j處的特征值，y_ij表示兩個特征圖中相應的i，j位置的相關性；

將Y與F₁′進行矩陣相乘：

得到的特征圖F′₂中的每一個像素位置都相當于通過其與特征圖F₁的相關性，攜帶其中每一個位置的信息，實現了兩個層次特征的融合。

4.如權利要求3所述的基于多層融合與對齊劃分的行人重識別方法，其特征在于：所述對齊劃分模塊包括，

采用STN作為基礎網絡架構，并生成三維張量；

將所述三維張量送入STN學習行人在圖像中的中心位置，生成仿射變換的轉換矩陣：

固定t_x，并根據需要劃分的區域大小直接固定尺度參數(s_x,s_y)；

利用學習得到t_y值并向Y軸方向兩邊擴展，即對t_y加上或減去劃分區域在Y軸方向的邊長s_y，得到其他的切分區域的Y軸中心；

根據STN位置參數范圍為[-1,1]，設置限定條件：

所述限定條件表示當采樣區域超出了特征圖的邊界時，就以上邊界或下邊界作為一條邊開始向內采樣一個區域大小。