[發明專利]用于圖像或視頻中行人重識別的深度判別網絡模型方法

有效

• 申請號: 201710570245.1
• 申請日: 2017-07-13
• 公開（公告）號: CN107273872B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 王文敏;張奕豪;王榮剛;李革;董勝富;王振宇;李英;趙輝;高文
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/54;G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種用于圖像或視頻中行人重識別的深度判別網絡模型方法，通過構建深度判別網絡，將不同輸入圖像在顏色通道上進行融合拼接，將得到的拼接結果定義為不同圖像的原始差異性空間；將原始差異性空間送入卷積網絡中，通過學習原始差異性空間中的差異性信息，網絡輸出兩張輸入圖像之間的相似性，由此實現行人重識別；包括如下步驟：

1)設計深度判別網絡模型的結構，包括原始差異性空間和卷積神經網絡，其中卷積神經網絡包含三個相連的卷積模塊和Inception模塊，緊接著一個非對稱的卷積層和全聯接層；包括如下過程：

11)通過將不同輸入圖像在顏色通道上進行融合拼接，構建圖像的原始差異性空間，作為卷積神經網絡直接學習的對象；

12)設計三個相連的卷積模塊，用于學習輸入圖像的差異性信息；

13)設計一個Inception模塊，緊接在卷積模塊的后面，用于增加網絡的深度和寬度；

14)設計一個非對稱的卷積操作進一步降低差異性維度，并計算輸入圖像之間的相似度；

2)將數據集X中的行人圖片設置為相同大小，并劃分為訓練集T和測試集D；

3)利用訓練集T訓練步驟1)構建的深度判別網絡，更新學習參數，直到收斂，得到訓練好的深度判別網絡模型；包括如下步驟：

31)通過以下方式對訓練集T中的圖片進行數據增強，獲取多張樣本圖片；

32)對上述樣本圖片進行預處理：計算訓練集中所有樣本的均值和方差，然后對所有圖片進行歸一化操作，得到正態分布的樣本數據，以此作為訓練樣本數據；

33)利用訓練樣本數據得到相似對和不相似對，生成針對每個人的最終訓練樣本；

34)采用批量訓練的方法，一次隨機從上述訓練樣本中采樣多對行人圖片，并使用隨機梯度下降法更新網絡參數，直到收斂，得到訓練好的深度判別網絡模型；

4)利用訓練好的深度判別網絡模型對測試數據集D進行識別，可驗證測試數據集D中兩張輸入圖像中的行人是否屬于同一行人，獲得識別準確率。

2.如權利要求1所述深度判別網絡模型方法，其特征是，步驟11)具體將輸入的兩張圖像在顏色通道R、G、B上進行融合拼接，使成為包含六個通道R、G、B、R、G、B的圖像結果，定義為兩個圖像的原始差異性空間。

3.如權利要求1所述深度判別網絡模型方法，其特征是，步驟12)三個相連的卷積模塊中，每一個模塊均包含2個卷積操作、1個ReLU映射和1個最大池化操作。

4.如權利要求3所述深度判別網絡模型方法，其特征是，卷積模塊的卷積核大小為3*3；步長為1；采樣大小為2*2；步長為2。

5.如權利要求1所述深度判別網絡模型方法，其特征是，步驟14)采用一個非對稱的卷積操作進一步降低差異性維度，并使用全聯接和SoftMax方法計算輸入圖像之間的相似度。

6.如權利要求1所述深度判別網絡模型方法，其特征是，步驟2)具體將數據集X中的行人圖片統一設為160*60大小，并隨機劃分為訓練集T和測試集D。

7.如權利要求1所述深度判別網絡模型方法，其特征是，步驟31)通過以下方式對訓練集T中的圖片進行數據增強：

A.對訓練集T中的圖片進行水平翻轉，得到各個圖片的鏡像圖；

B.以訓練集T中的每張圖片中心為基準，采樣在水平和豎直方向上隨機偏移一定大小的多張圖片，作為樣本；偏移范圍為[-0.05H,0.05H]*[-0.05W,0.05W]，H和W分別是原始圖像的高和寬。

8.如權利要求1所述深度判別網絡模型方法，其特征是，步驟33)對于每個人的所有樣本中的每一個相似對，從其他所有人的樣本中隨機選取兩張圖片與其中一個樣本構成不相似對，作為最終的訓練樣本。

9.如權利要求1所述深度判別網絡模型方法，其特征是，步驟34)具體采用一次采樣128對行人圖片進行批量訓練；使用隨機梯度下降法時，學習率設為0.05、動量為0.9、學習率衰減為0.0001，權重衰減為0.0005。

10.如權利要求1所述深度判別網絡模型方法，其特征是，步驟3)之后，使用測試集D中的行人圖片對訓練好的深度判別網絡模型進行評估。