[發(fā)明專利]基于孿生行人對齊殘差網(wǎng)絡的行人重識別方法

有效

• 申請?zhí)枺?/td>: 201810876899.1
• 申請日: 2018-08-03
• 公開（公告）號: CN109063649B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設計）人: 周勇;鄭沂;趙佳琦;姚睿;劉兵;夏士雄;劉栩寧
• 申請（專利權）人: 中國礦業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 王美章

1.一種基于孿生行人對齊殘差網(wǎng)絡的行人重識別方法，其特征在于，包括以下幾個步驟：

S1、構建基礎分支孿生殘差網(wǎng)絡；

S1.1、構造第一基礎分支深度殘差網(wǎng)絡，采用遷移學習策略，導入在ImageNet數(shù)據(jù)集上預訓練的殘差網(wǎng)絡參數(shù)，將其作為第一基礎分支深度殘差網(wǎng)絡的基礎參數(shù)；

S1.2、通過復制第一基礎分支深度殘差網(wǎng)絡的模型結構和參數(shù)得到第二基礎分支深度殘差網(wǎng)絡；

S1.3、計算兩個基礎分支深度殘差網(wǎng)絡輸出的特征向量差值的平方，利用卷積層和分類器進行二分類，判斷上述兩個基礎分支深度殘差網(wǎng)絡的輸入是否是同一類別的圖像；

S2、構建行人對齊分支孿生殘差網(wǎng)絡；

S2.1、構造第一行人對齊分支深度殘差網(wǎng)絡，使用經(jīng)過訓練的第一基礎分支深度殘差網(wǎng)絡或第二基礎分支深度殘差網(wǎng)絡中的任意一個，刪除用于將高維特征圖像返回為特征向量的殘差塊；

將輸出的高維特征圖像結果經(jīng)由一個殘差塊返回用于進行仿射變換的參數(shù)，對輸出的低維特征圖像進行仿射變換，得到經(jīng)過對齊的行人圖像；

將經(jīng)過訓練的第一基礎分支深度殘差網(wǎng)絡或第二基礎分支深度殘差網(wǎng)絡中的任意一個，刪去用于得到進行仿射變換的低維特征圖像及其之前的殘差塊，并用來訓練得到的經(jīng)過對齊的行人圖像；

S2.2、復制第一行人對齊分支深度殘差網(wǎng)絡的模型結構和參數(shù)得到第二行人對齊分支深度殘差網(wǎng)絡；

S2.3、計算上述兩個行人對齊分支深度殘差網(wǎng)絡輸出的特征向量差值的平方，利用卷積層和分類器進行二分類，判斷兩個分支網(wǎng)絡的輸入是否是同一類別的圖像；

S3、利用已構造好的訓練數(shù)據(jù)集對構建好的基礎分支孿生網(wǎng)絡和行人對齊分支孿生殘差網(wǎng)絡進行參數(shù)訓練，將訓練好的基礎分支孿生殘差網(wǎng)絡中基礎分支原型和行人對齊分支孿生殘差網(wǎng)絡中行人對齊分支原型取出進行行人重識別的分類模型；

S3.1、利用構造好的訓練數(shù)據(jù)集采用批量梯度下降法分別對構造好的基礎分支孿生殘差網(wǎng)絡和行人對齊分支孿生殘差網(wǎng)絡進行參數(shù)訓練；

S3.2、訓練好參數(shù)之后分別將任意一個基礎分支孿生殘差網(wǎng)絡和行人對齊分支孿生殘差網(wǎng)絡取出作為行人圖像分類模型；

S4、構建測試樣本和查詢樣本；

S5、測試樣本分類：將測試樣本分別送入訓練好的基礎分支深度殘差網(wǎng)絡和行人對齊分支深度殘差網(wǎng)絡中進行特征提??；

S6、將兩個分支網(wǎng)絡得到的特征進行特征連結；

S7、對測試樣本的圖像和查詢樣本的圖像進行歐式距離的計算得到排序列表；

S8、在重排序的基礎上進行行人重識別。

2.根據(jù)權利要求1所述基于孿生行人對齊殘差網(wǎng)絡的行人重識別方法，其特征在于，步驟S1.1具體如下：

S1.1.1、輸出經(jīng)過平均池化后得到的2048維向量f₁；

S1.1.2、設置卷積層的特征映射圖數(shù)為行人類別數(shù)目n,卷積層將f₁映射成為n維向量，由全連接分類器輸出最終類別預測；

S1.1.3對于基礎分支孿生殘差網(wǎng)絡的輸入和輸出,定義第一損失函數(shù)：

其中，softmax代表一個分類器函數(shù)，代表一個卷積運算，θ_I代表所使用的卷積層的參數(shù)，t為行人類別，f為經(jīng)過基礎分支深度殘差網(wǎng)絡進行特征提取后得到的特征向量，為分類器函數(shù)輸出的特征向量f屬于某個行人類別t的概率，對于任一圖像i和某一行人類別t,p_i代表圖像i是否屬于行人類別t，如果屬于，則p_i＝1，否則p_i＝0，為任一圖像i經(jīng)過softmax函數(shù)處理后得到的概率值。