[發明專利]一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法

在審

• 申請號: 202110667913.9
• 申請日: 2021-06-16
• 公開（公告）號: CN113378729A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 廖開陽;雷浩;鄭元林;章明珠;范冰;黃港
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

1.一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法，其特征在于，包括以下步驟：

步驟1、采用隨機擦除的方式對原始行人圖像進行預處理得到行人圖像，并對Resnet-50網絡模型進行基線網絡優化，將行人圖像輸入優化后的Resnet-50網絡模型得到深度卷積特征；

步驟2、將原始行人圖像作為輸入圖像進行特征提取，得到顯著性人體圖像；

步驟3、先采用姿態卷積器對所述人體顯著性圖像進行姿態提取，得到身體部位圖像，再將所述身體部位圖像輸入ResNet-50網絡中提取局部語義特征；

步驟4、將所述深度卷積特征和局部語義特征進行加權融合，得到加權后的融合特征，對圖像測試庫、圖像查詢庫中圖像與融合特征的距離分別進行度量，對距離度量后的結果生成初始度量列表；

步驟5、根據重排序算法對初始度量列表中的圖像進行重新排序，得到圖像正確匹配排名，輸出行人匹配圖像識別特定行人。

2.根據權利要求1所述的一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法，其特征在于，對Resnet-50網絡模型進行基線網絡優化的具體方式為：

結合Softmax loss和Triplet loss對所述Resnet-50網絡模型的損失函數進行優化，優化后的損失函數為：

上式中，m為損失函數的個數；

上式中，為錨點樣本的特征向量，為正樣本的特征向量，為負樣本的特征向量，α為之間的距離和之間的距離之間最小的間隔，+表示[]內的值大于零時，該值為損失值，小于零的時候，損失為零。

3.根據權利要求1所述的一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法，其特征在于，步驟2具體包括以下步驟：

步驟2.1、將VGG-16網絡結構的最后一個池化階段去掉后作為網絡結構，將原始行人圖像作為輸入圖像輸入所述網絡結構后輸出特征映射；

步驟2.2、將所述特征映射反卷積為輸入圖像的大小，并添加一個新的卷積層，生成預測顯著性圖；

步驟2.3、先將所述網絡結構中核尺寸為1×1的卷積層應用于conv1-2層，產生邊界預測，再將所述邊界預測添加至預測顯著性圖中得到細化邊界框，然后應用一個卷積層對細化邊界框進行卷積，得到顯著性人體圖像。

4.根據權利要求1所述的一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法，其特征在于，步驟3具體包括以下步驟：

步驟3.1、將顯著性人體圖像作為姿態估計器的輸入，對14個關節點進行定位；

步驟3.2、將14個人體關節定位為6個子區域，對所述6個子區域通過裁剪、旋轉和調整大小到固定的大小和方向，并組合后形成拼接身體部位圖像；

步驟3.3、對所述拼接身體部位圖像中每個身體部位的尺寸進行位姿變換，得到身體部位圖像；

步驟3.4、將所述身體部位圖像輸入ResNet-50網絡進行訓練，提取局部語義特征。

5.根據權利要求1所述的一種基于位姿嵌入的多尺度卷積特征融合行人重識別方法，其特征在于，步驟5的具體過程為：

對一幅行人測試圖像p和一個圖像集G＝g_i|i＝1,2,...,N，通過加權將k-倒數最近鄰編碼為單個向量，形成k-倒數特征，然后利用圖像k-倒數特征計算出行人測試圖像p和圖像集的雅克比距離，最后將行人測試圖像p和圖像集的原始距離、雅克比距離進行加權得到距離公式；根據距離公式計算初始度量列表中圖像與融合特征的距離，并進行重新排序，得到圖像正確匹配排名，輸出行人匹配圖像識別特定行人。