[發(fā)明專利]一種利用姿態(tài)信息設(shè)計(jì)多損失函數(shù)的行人重識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710946443.3
• 申請(qǐng)日: 2017-10-12
• 公開（公告）號(hào): CN107832672A
• 公開（公告）日: 2018-03-23
• 發(fā)明（設(shè)計(jì)）人: 周忠;吳威;姜那;劉俊琦;孫晨新
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 楊學(xué)明,鄧治平

1.一種利用姿態(tài)信息設(shè)計(jì)多損失函數(shù)的行人重識(shí)別方法，其特征在于：包括離線提取特征網(wǎng)絡(luò)模型訓(xùn)練、在線行人重識(shí)別兩部分主要內(nèi)容；

步驟(1)、離線提取特征網(wǎng)絡(luò)模型訓(xùn)練階段：

(ml)對(duì)所有圖片進(jìn)行預(yù)處理，原始圖片rI_i處理后用I_i表示；

(m2)針對(duì)每一張圖片檢測(cè)關(guān)節(jié)點(diǎn)信息，得到的18個(gè)關(guān)節(jié)點(diǎn)信息存在P_Ii＝{x₁，y₁，......，x₁₈，y₁₈}中，并有對(duì)應(yīng)的布爾型數(shù)組label表示是否檢測(cè)到了不同的關(guān)節(jié)點(diǎn)，label_i＝(True or False)；

(m3)根據(jù)步驟(m2)中提取的關(guān)節(jié)點(diǎn)信息，推測(cè)每一個(gè)行人的身高h(yuǎn)igh_i、分別計(jì)算頭部-軀干-腿部的局部區(qū)域信息

(m4)根據(jù)步驟(m2)提取的關(guān)節(jié)點(diǎn)信息，推測(cè)行人目標(biāo)的姿態(tài)朝向，記為dir_i＝(1 or 2or 3)，其中等于1的時(shí)候表示正向樣本，2表示側(cè)向樣本，3表示背向樣本；

(m5)根據(jù)設(shè)計(jì)的主干網(wǎng)絡(luò)提取全局特征，根據(jù)步驟(m3)提取的局部區(qū)域位置信息及分支網(wǎng)絡(luò)結(jié)構(gòu)提取局部特征，并將每張圖片的全局特征與局部特征融合，共同形成表述性特征向量；

(m6)根據(jù)數(shù)據(jù)真實(shí)標(biāo)簽計(jì)算多分類損失函數(shù)以及三元組，同時(shí)根據(jù)步驟(m4)推測(cè)的行人姿態(tài)朝向設(shè)計(jì)五元組并計(jì)算五元組損失函數(shù)；所述的步驟(m6)包括如下步驟：

(m6.1)計(jì)算多分類損失函數(shù)誤差；

(m6.2)計(jì)算三元組約束：

D_id(I_i^a，I_i^p，I_iⁿ)＝d(f(I_i^a)-f(I_i^p))-d(f(I_i^a)-f(I_iⁿ))＜α

其中，是數(shù)據(jù)集中任意一張基準(zhǔn)行人圖像，I_i^p表示與基準(zhǔn)行人代表同一人的另一張圖像，即正樣本，I_iⁿ為其他人的圖像，即負(fù)樣本，該三元組輸入經(jīng)過網(wǎng)絡(luò)計(jì)算后得到各自的特征向量{f(I_i^a)，f(I_i^p)，f(I_iⁿ)}，d(f(I_i^a)-f(I_i^p))為基準(zhǔn)圖與正樣本對(duì)之間的距離，d(f(I_i^a)-f(I_iⁿ))為基準(zhǔn)圖與負(fù)樣本對(duì)之間的距離，α為三元組約束的閾值；

(m6.3)計(jì)算三元組約束：

D_pose(I_i^a，I_i^ps，I_i^pd)＝d(f(I_i^a)-f(I_i^ps))-d(f(I_i^a)-f(I_i^pd))＜β

其中，表示與姿勢(shì)相同的正樣本，表示與姿勢(shì)不同的正樣本，β為三元組約束的閾值；

(m7)聯(lián)合步驟(m6)計(jì)算的多種損失函數(shù)誤差訓(xùn)練當(dāng)前特征提取網(wǎng)絡(luò)，并分析不同損失函數(shù)權(quán)重對(duì)網(wǎng)絡(luò)的影響，選擇最佳的權(quán)重λ₁和λ₂來完成聯(lián)合訓(xùn)練；所述的步驟(m7)包括如下步驟：

(m7.1)根據(jù)步驟(m6)得到的多損失函數(shù)誤差計(jì)算反向傳播的聯(lián)合誤差值：

Loss₃(I，w)＝λ₁Loss₁(I，w)+λ₂Loss₂(I，w)

其中，Loss₁表示多分類損失函數(shù)，Loss₂表示五元組損失函數(shù)，Loss₃表示聯(lián)合損失函數(shù)，λ₁和λ₂為平衡聯(lián)合損失函數(shù)的權(quán)重值，λ為平衡五元組損失函數(shù)中D_pose三元組的權(quán)重值，w為網(wǎng)絡(luò)參數(shù)，表示預(yù)測(cè)的概率，p_i是目標(biāo)概率，N是行人種類數(shù)量，n是五元組數(shù)量；

(m7.2)分析步驟(m7.1)中誤差權(quán)重參數(shù)λ₁和λ₂的選擇，確定離線階段使用的最佳損失函數(shù)分配權(quán)重；

步驟(2)、在線行人重識(shí)別階段：

(s1)預(yù)處理圖片庫內(nèi)所有圖片I_gallery，并利用步驟(1)離線階段訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行特征提取，根據(jù)圖片對(duì)應(yīng)的識(shí)別信息逐條存儲(chǔ)形成特征庫F_gallery；

(s2)預(yù)處理待分析圖片I_query，利用步驟(1)離線階段訓(xùn)練得到的網(wǎng)絡(luò)模型進(jìn)行特征提取，最終的特征向量f_query用作后續(xù)步驟(s3)相似性度量的唯一有效信息；

(s3)計(jì)算步驟(s2)中提取的f_query與特征庫F_gallery之間的特征距離，并進(jìn)行歸一化、排序操作，從中選出相似度大于0.7且排名在前M的圖片作為行人重識(shí)別的檢索結(jié)果，其中M的數(shù)值根據(jù)當(dāng)前圖片庫內(nèi)數(shù)量動(dòng)態(tài)選定；

(s4)定期更新圖片庫及其對(duì)應(yīng)的特征庫，重點(diǎn)支持靜態(tài)庫以及由動(dòng)態(tài)視頻庫檢測(cè)采集到的動(dòng)態(tài)庫兩種模態(tài)。