[發(fā)明專利]一種基于深度學(xué)習(xí)的多視角步態(tài)識別方法

在審

• 申請?zhí)枺?/td>: 202010012500.2
• 申請日: 2020-01-07
• 公開（公告）號: CN111476077A
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 吳建;丁韜;許鏡
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：包括以下步驟：

S1：通過攝像頭采集人的步態(tài)，從每段視頻序列中隨機(jī)抽取n幀，通過背景減除法從視頻幀中提取步態(tài)輪廓圖；

S2：將從每段視頻中提取的n張目標(biāo)輪廓圖進(jìn)行剪裁、對齊預(yù)處理；

S3：以人體運(yùn)動(dòng)的幅度來表示周期性變化，檢測一個(gè)步態(tài)周期內(nèi)的輪廓圖；

S4：以單一通道的步態(tài)能量圖為基礎(chǔ)，將步態(tài)序列中的幀映射到不同的通道，根據(jù)幀的幅度來確定通道的邊界，獲得多通道步態(tài)模板；

S5：將獲得的多通道步態(tài)模板組成用于輸入的集合，對每個(gè)模板提取特征后再將這些特征進(jìn)行聚合；

S6：選擇度量學(xué)習(xí)的方法，提出具有增強(qiáng)約束的Triplet Loss函數(shù)來學(xué)習(xí)到最優(yōu)的特征，辨別得到的特征聚合向量來實(shí)現(xiàn)識別。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：步驟S1中，針對室內(nèi)環(huán)境采用直接差分的背景減除方法，針對室外環(huán)境采用背景實(shí)時(shí)更新的背景減除方法；假設(shè)B(x,y)和f_n(x,y)分別代表背景圖像和當(dāng)前圖像中(x,y)處的像素值，按照公式(1)進(jìn)行差分運(yùn)算：

其中，T為設(shè)定的閾值，R′_n(x,y)為最終得到的圖像。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：步驟S2中，具體包括以下步驟：

S21：通過遍歷原始的步態(tài)輪廓圖像，找出上、下、左、右邊界像素值為1的點(diǎn)，以此來確定人體輪廓的最小矩形框作為人體目標(biāo)輪廓圖像；

S22：將目標(biāo)輪廓中的每個(gè)像素點(diǎn)(x_n,y_n)縮放至(64,64y_n/x_n)，根據(jù)公式(2)計(jì)算其質(zhì)心橫坐標(biāo)x_c；

其中x_i為人體輪廓像素點(diǎn)的橫坐標(biāo)，N為總體的像素點(diǎn)數(shù)；

S23：歸一化輪廓圖為64×64大小。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：步驟S3中，用人體運(yùn)動(dòng)的幅度來表示周期性變化，通過檢測步態(tài)周期來找到一些關(guān)鍵幀，并在一個(gè)周期內(nèi)測量每個(gè)步態(tài)框架的相對位置；步態(tài)輪廓圖腿部區(qū)域的平均寬度W表示為：

其中h表示個(gè)體圖像的高度，L_i和R_i分別表示個(gè)體第i行中最左側(cè)和最右側(cè)前景像素的位置，0≤α≤β≤1；連續(xù)三個(gè)波峰或三個(gè)波谷之間的時(shí)間跨度為一個(gè)步態(tài)周期。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：步驟S4中，根據(jù)幀的幅度來確定通道的邊界，步態(tài)輪廓圖在一定范圍內(nèi)對應(yīng)的幅度用T(k)來表示：

其中k為通道數(shù)，k＝1,2,...,n_c，m為通道窗口的大小；每個(gè)通道中的模板PEI_k用該通道中幀的平均值序列來表示：

其中N_k為該通道內(nèi)步態(tài)輪廓圖的數(shù)量，B_t為第t幀的輪廓圖像；通過式(4)和式(5)得到不同通道的步態(tài)模板。

6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別算法，其特征在于：步驟S5中，通過提取幀級能量圖特征方法來代替提取單一的步態(tài)能量圖的方法；

給定數(shù)據(jù)集中的N個(gè)人表示為y₁,y₂,...,y_n，每個(gè)人只有自己獨(dú)有的步態(tài)輪廓分布p_i，每個(gè)序列中的輪廓表示為其中則識別任務(wù)表示為：

f_i＝H(G(F(x_i))) (6)

其中函數(shù)F通過CNN網(wǎng)絡(luò)對序列中的每個(gè)輪廓圖都進(jìn)行特征提取；函數(shù)G將提取到的多幅圖像的特征映射到序列級函數(shù)中，得到一個(gè)聚合特征向量；函數(shù)H通過全連接網(wǎng)絡(luò)對得到的聚合特征向量進(jìn)行辨別從而實(shí)現(xiàn)識別效果。

7.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多視角步態(tài)識別方法，其特征在于：步驟S6中，選擇度量學(xué)習(xí)中的三元組結(jié)構(gòu)其中參考樣本記為正樣本記為負(fù)樣本記為三元組經(jīng)過神經(jīng)網(wǎng)絡(luò)映射到特征空間為要求：

其中ε₁為閾值參數(shù)，對其距離進(jìn)行l(wèi)₂范數(shù)歸一化處理：

表示和的歸一化后的歐氏距離，則Triplet Loss表示為：

添加新的損失函數(shù)來增強(qiáng)約束，使得相似樣本對之間的距離小于一個(gè)設(shè)定的閾值τ₂，并且這個(gè)閾值小于τ₁，從而使改進(jìn)的損失函數(shù)通過增加約束來增大類間距離和減小類內(nèi)距離，改進(jìn)后的Triplet Loss函數(shù)表示為：

其中N是訓(xùn)練樣本的個(gè)數(shù)，β平衡了類內(nèi)和類間距離所占的比重。