[發(fā)明專利]一種基于遷移學習和特征融合的行人重識別方法

有效

• 申請?zhí)枺?/td>: 201811097958.1
• 申請日: 2018-09-20
• 公開（公告）號: CN109446898B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設計）人: 楊天奇;陳英智
• 申請（專利權）人: 暨南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 廣州市華學知識產(chǎn)權代理有限公司 44245
• 代理人: 陳燕嫻

1.一種基于遷移學習和特征融合的行人重識別方法，其特征在于，包括以下步驟：

S1、從公開數(shù)據(jù)集中獲取行人數(shù)據(jù)；

S2、搭建神經(jīng)網(wǎng)絡ResNet，在數(shù)據(jù)集ImageNet上進行初步訓練，得到初次訓練的網(wǎng)絡集合，并進行保存；

S3、將初步訓練得到的網(wǎng)絡集合，在數(shù)據(jù)集MARS上進行微調(diào)，使用行人重識別數(shù)據(jù)作為網(wǎng)絡輸入，移除神經(jīng)網(wǎng)絡ResNet最后一層，加入一層softmax分類層，將輸出層前一層的結果作為三元組損失的輸出，即進行第二次訓練，得到第二次訓練的網(wǎng)絡集合；具體為：

將表示為第i個樣本，由三個部分組成，I_i為選定行人圖片，為正例，為負例；F為卷積網(wǎng)絡，則有三元組損失函數(shù)：

將正例與選定圖片間的距離定義為：

將負例與選定圖片間的距離定義為：

通過三元組損失函數(shù)與交叉熵損失函數(shù)，組合為聯(lián)合函數(shù)，給神經(jīng)網(wǎng)絡約束，使得學習一個相同行人的圖片具有相似輸出，不同行人具有不相似輸出：

聯(lián)合函數(shù)為：

其中，T(I_i,y_i)為交叉熵損失函數(shù)，I_i為第i張圖片，y_i為第i張圖片的類別標記；

S4、進行特征提取，提取卷積網(wǎng)絡特征和提取手工特征，具體過程為：

首先輸入行人圖片，提取卷積網(wǎng)絡特征F_CNN(I_i)，即CNN特征；手工特征方面，采取表達像素特征的層級分布描述子GOG，定義為F_hand(I_i)，即GOG手工特征；將卷積網(wǎng)絡特征F_CNN(I_i)和手工特征F_hand(I_i)進行拼接，得到高-低特征F_joint，表示為：

F_joint＝[F_CNN(I_i),F_hand(I_i)]，

S5、利用交叉視角的二次判別方法XQDA，對高-低級特征F_joint進行分類；具體為：

將數(shù)據(jù)集分為測試集與訓練集，使用步驟S4中提取高-低級特征的方法提取訓練集高-低級特征，在XQDA上進行訓練，學習出行人的樣本間距離；

對測試集提取高-低級特征，得到測試集高-低級特征，輸入測試集高-低級特征進行驗證，輸出行人的樣本間距離，根據(jù)行人的樣本間距離評估樣本相似度即行人相似度，其后和行人的真實類別進行對比驗證；

XQDA具體為：

其中，Δ＝x-z表示不同視角的樣本x和樣本z之間的差異，π_I為組內(nèi)差異，π_E為組間差異，P(Δ|π)表示Δ符合π的高斯分布；

進一步，引入子空間映射矩陣W，樣本間距離d(x,z)為：

其中，表示組內(nèi)協(xié)方差矩陣，表示組間協(xié)方差矩陣，W為子空間映射矩陣，Δ^T為Δ轉(zhuǎn)置；W^T為W轉(zhuǎn)置，將∑^-1映射到子空間；

通過學習樣本映射，得到行人在特征空間的不同樣本距離，根據(jù)距離衡量是否為同類，獲取重識別結果。

2.根據(jù)權利要求1所述的一種基于遷移學習和特征融合的行人重識別方法，其特征在于，步驟S1中，所述獲取行人數(shù)據(jù)，具體過程為：行人數(shù)據(jù)集是從行人不同的角度進行拍攝，并使用人工選取和自動化選取的方式，對行人圖片進行裁剪，得到行人圖片，組成數(shù)據(jù)集。

3.根據(jù)權利要求1所述的一種基于遷移學習和特征融合的行人重識別方法，其特征在于，步驟S1中，所述公開數(shù)據(jù)集包含：VIPeR、CUHK01、GRID、MARS，其中，使用MARS微調(diào)預訓練的神經(jīng)網(wǎng)絡，使用VIPeR、CUHK01、GRID驗證。