[發(fā)明專利]一種基于多屬性和多策略融合學(xué)習(xí)的行人再識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710504662.6
• 申請(qǐng)日: 2017-06-28
• 公開(kāi)（公告）號(hào): CN107330396B
• 公開(kāi)（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 凌賀飛;柳茂林;李平
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 廖盈春;李智

1.一種基于多屬性和多策略融合學(xué)習(xí)的行人再識(shí)別方法，其特征在于，所述方法分為線下訓(xùn)練階段和線上查詢階段：

線下訓(xùn)練階段具體包括以下步驟：

(1)從行人屬性數(shù)據(jù)集選取多種屬性，并為每種屬性劃分類別，構(gòu)建屬性標(biāo)簽；

(2)對(duì)行人屬性識(shí)別數(shù)據(jù)集，構(gòu)建有多種屬性標(biāo)簽的卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練一個(gè)行人屬性識(shí)別器；

(3)用訓(xùn)練好的行人屬性識(shí)別器，為行人再識(shí)別數(shù)據(jù)集采用“投票法”標(biāo)注屬性標(biāo)簽，將行人再識(shí)別數(shù)據(jù)集中的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)后，前向傳播計(jì)算各分類層的值，其中最大元素的序號(hào)所對(duì)應(yīng)的類別即為此圖像對(duì)該屬性的類別；對(duì)于每一個(gè)屬性，同一行人的每張圖像都有一張“選票”，根據(jù)每張圖像的預(yù)測(cè)結(jié)果為屬性類別“投票”，將“得票數(shù)”最多的類別作為該屬性最終的標(biāo)簽；

(4)對(duì)行人再識(shí)別數(shù)據(jù)集和標(biāo)注好的屬性標(biāo)簽，構(gòu)建有行人身份標(biāo)簽、多種屬性標(biāo)簽、融合分類與約束對(duì)比驗(yàn)證的卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練一個(gè)行人再識(shí)別的模型；

所述線下訓(xùn)練階段的步驟(4)中行人再識(shí)別模型的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練具體包括以下子步驟：

(41)對(duì)一個(gè)訓(xùn)練批次中的訓(xùn)練樣本進(jìn)行預(yù)處理；

(42)以大型數(shù)據(jù)集ImageNet預(yù)先訓(xùn)練過(guò)的模型作為卷積神經(jīng)網(wǎng)絡(luò)的初始參數(shù)，將樣本輸入卷積神經(jīng)網(wǎng)絡(luò)后，前向傳播計(jì)算卷積神經(jīng)網(wǎng)絡(luò)各層的值，直至行人身份和各屬性的分類損失層和約束對(duì)比驗(yàn)證損失層，不同標(biāo)簽的損失值有各自的權(quán)重，行人身份損失所占權(quán)重是各屬性損失的3倍，分類損失所占權(quán)重是約束對(duì)比驗(yàn)證損失的10倍；所述步驟(42)中約束對(duì)比驗(yàn)證損失函數(shù)的表達(dá)形式是：

其中，j＝0表示行人身份，j＝1,2,...,n對(duì)應(yīng)行人的n種屬性；表示該訓(xùn)練批次中第m個(gè)圖像特征對(duì)和是否屬于同一行人或具有相同屬性，1表示是，0表示否；是L2范數(shù)，也就是歐氏距離；θ表示邊界閾值參數(shù)；||·||₁是L1范數(shù)；β是約束項(xiàng)所占權(quán)重；

該批次的平均約束對(duì)比驗(yàn)證損失函數(shù)表示為：

其中，M是一個(gè)訓(xùn)練批次的樣本可組成的特征對(duì)數(shù)量；

(43)若預(yù)定總體迭代次數(shù)未達(dá)到，則繼續(xù)步驟(44)；若已達(dá)到，則結(jié)束訓(xùn)練；

(44)反向逐層采用梯度下降算法更新網(wǎng)絡(luò)各層參數(shù)，同時(shí)最小化行人身份和各屬性的分類損失和約束對(duì)比驗(yàn)證損失；重復(fù)步驟(41)至(43)；

線上查詢階段包括以下步驟：

S1、用訓(xùn)練好的行人再識(shí)別模型，分別對(duì)查詢圖像和庫(kù)圖像提取網(wǎng)絡(luò)的高層特征，將一張圖像輸入網(wǎng)絡(luò)后，前向傳播計(jì)算分裂前最后一個(gè)全連接層的值，即為所需特征，每個(gè)圖像都會(huì)得到一個(gè)向量特征；

S2、計(jì)算查詢圖像特征與各庫(kù)圖像特征之間的歐氏距離，將得到的距離值從小到大排序，排名靠前的距離值對(duì)應(yīng)的庫(kù)圖像與查詢圖像是同一行人的概率較大，取距離最近的多張圖像作為查詢目標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種基于多屬性和多策略融合學(xué)習(xí)的行人再識(shí)別方法，其特征在于，所述線下訓(xùn)練階段的步驟(2)中作為行人屬性識(shí)別器的卷積神經(jīng)網(wǎng)絡(luò)模型的基本結(jié)構(gòu)是VGGNet；所述卷積神經(jīng)網(wǎng)絡(luò)模型最后一個(gè)全連接層分裂成多個(gè)；全連接層之后的分類層也有多個(gè)，分別對(duì)應(yīng)多種屬性標(biāo)簽；每個(gè)分類層后各有一個(gè)采用Softmax損失的分類損失層。

3.根據(jù)權(quán)利要求1所述的一種基于多屬性和多策略融合學(xué)習(xí)的行人再識(shí)別方法，其特征在于，所述線下訓(xùn)練階段的步驟(2)中行人屬性識(shí)別器的卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練具體包括以下子步驟：

(21)對(duì)一個(gè)訓(xùn)練批次中的樣本進(jìn)行預(yù)處理；

(22)以大型數(shù)據(jù)集ImageNet預(yù)先訓(xùn)練過(guò)的模型作為網(wǎng)絡(luò)的初始參數(shù)，將訓(xùn)練樣本輸入網(wǎng)絡(luò)后，前向傳播計(jì)算網(wǎng)絡(luò)各層的值，直至各屬性的分類損失層，每個(gè)分類損失值的權(quán)重相等；

(23)若預(yù)定總體迭代次數(shù)未達(dá)到，則繼續(xù)步驟(24)；若已達(dá)到，則結(jié)束訓(xùn)練；

(24)反向逐層采用梯度下降算法更新網(wǎng)絡(luò)各層參數(shù)，同時(shí)最小化各屬性的分類損失；重復(fù)步驟(21)至(23)。

4.根據(jù)權(quán)利要求1所述的一種基于多屬性和多策略融合學(xué)習(xí)的行人再識(shí)別方法，其特征在于，所述線下訓(xùn)練階段的步驟(4)中作為行人再識(shí)別模型的卷積神經(jīng)網(wǎng)絡(luò)模型基本結(jié)構(gòu)是CaffeNet；所述卷積神經(jīng)網(wǎng)絡(luò)最后一個(gè)分類層分裂成多個(gè)，分別對(duì)應(yīng)行人身份標(biāo)簽和多種屬性標(biāo)簽；每個(gè)分類層后各有一個(gè)采用Softmax損失的分類損失層；除分類層外，還有多個(gè)降維層；每個(gè)降維層后各有一個(gè)計(jì)算樣本特征對(duì)之間距離的約束對(duì)比驗(yàn)證損失層。