[發明專利]面向行人重識別任務的基于成對樣本隨機遮擋策略的數據擴充方法

有效

• 申請號: 201811352790.4
• 申請日: 2018-11-14
• 公開（公告）號: CN109670528B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 趙佳琦;夏士雄;姚睿;周勇;牛強;閆秋艷;張鳳榮;張家誠
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/764;G06V40/10;G06N3/0464;G06N3/096
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 王美章

1.一種面向行人重識別任務的基于成對樣本隨機遮擋策略的數據擴充方法，其特征在于，

在訓練階段，首先通過采用基于成對樣本隨機遮擋策略的數據擴充方法增加樣本的多樣性，提高深度行人重模型訓練過程中的魯棒性，進而提高模型的泛化性能；

在測試階段，無需對測試圖像進行遮擋處理就可以有效的進行行人重識別任務，具體包括以下步驟：

S1構建行人重識別深度孿生殘差網絡

S1.1、構造第一深度殘差網絡，采用遷移學習策略，導入在ImageNet數據集上預訓練的殘差網絡參數，將其作為第一深度殘差網絡的基礎參數；

S1.2、通過復制第一深度殘差網絡的模型結構和參數得到第二深度殘差網絡；

S1.3、計算兩個深度殘差網絡輸出的特征向量差值的平方，利用卷積層和分類器進行二分類，判斷上述兩個深度殘差網絡的輸入是否是同一類別的圖像；

S1.4、計算兩個殘差網絡輸出特征向量的歐式距離，對于同類別圖像采用其特征之間的歐式距離作為網絡模型的正則損失；

S2構造訓練數據集

S2.1、打亂訓練數據集中圖像的順序，產生訓練數據對，在模型參數訓練的過程中將不同類別的圖像對每個時期乘以因子1.01直到不同類別的圖像對與相同類別的圖像對之間的比例由1:1逐漸增加到4:1；

S2.2、將每張圖片的尺寸調整成256×256，并且隨機裁剪成224×224；

S2.3、從每一批的訓練數據中隨機選擇2/3的樣本對采用基于成對樣本隨機遮擋策略操作，用于數據擴充從而增加訓練樣本的多樣性，剩下1/3的樣本保持不變，具體是：

在執行基于成對樣本隨機遮擋策略的過程中，隨機選擇90％的樣本進行同步遮擋，即兩張圖片遮擋相同的區域；5％的樣本對隨機遮擋第一張圖像，第二張圖像不進行遮擋處理；剩下5％的樣本對隨機遮擋第二張圖像，第一張圖像不進行遮擋處理；

在執行基于成對樣本隨機遮擋策略的過程中，對于需要遮擋的圖像被均等的劃分為16×16的網格，每張圖像被均勻的劃分為256個圖像塊，隨機產生一個1～128的隨機數Nre用于記錄要遮擋的圖像塊的個數；

在執行基于成對樣本隨機遮擋策略的過程中，隨機產生Nre個圖像塊的位置，用訓練樣本集中所有圖像的均值替代對應位置的像素值；

S3行人重識別深度孿生殘差網絡模型訓練

S3.1、利用步驟S2已構造好的訓練數據集采用批量梯度下降算法對行人重識別深度孿生殘差網絡進行參數訓練；

S3.2、參數訓練好之后，將第一深度殘差網絡取出用于行人圖像的特征提取；

S4構建測試樣本集，包括查詢集和庫集兩個集合；

S5測試樣本重識別性能

將所有測試樣本集中的圖像送入訓練好的第一深度殘差網絡中進行特征提取，并且根據查詢集和庫集中樣本在特征空間的歐式距離查找要搜索的行人；

S6輸出行人重識別結果。

2.根據權利要求1所述的面向行人重識別任務的基于成對樣本隨機遮擋策略的數據擴充方法，其特征在于，步驟S1.1具體如下：

S1.1.1、去除現有的深度殘差網絡最后的全連接層和概率層，形成第一深度殘差網絡，輸出輸入圖像的特征向量f₁；

S1.1.2、對第一深度殘差網絡添加卷積層和全連接softmax分類器，設置卷積層的特征圖數為行人身份類別數n,卷積層將f₁映射成為n維向量，由全連接分類器輸出最終類別預測；

S1.1.3、對于第一深度殘差網絡的輸入和輸出,定義損失函數：

其中，x表示輸入網絡中的所有的行人數據，input表示深度孿生網絡的輸入，output表示深度孿生網絡的輸出。