[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡的步態(tài)周期檢測方法

有效

• 申請?zhí)枺?/td>: 201910026947.2
• 申請日: 2019-01-11
• 公開（公告）號: CN109766838B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設計）人: 王科俊;丁欣楠;李伊龍;周石冰;徐怡博
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于卷積神經(jīng)網(wǎng)絡的步態(tài)周期檢測方法，其特征在于，具體的實現(xiàn)步驟為：

步驟1.對步態(tài)視頻進行預處理，包括視頻解碼，行人輪廓提取和質(zhì)心歸一化的圖像預處理操作；

步驟1.1.對視頻序列進行分幀處理，經(jīng)過分幀之后的序列為按時間順序排列的圖像序列；

步驟1.2.將包含行人的圖像序列和背景序列進行灰度變換，采用中值法進行估計整個序列的背景，并進行二值化得到步態(tài)輪廓圖像；

D_k(x,y)＝|I_k(x,y)-M_k(x,y)|

其中，I_k(x,y)為視頻序列第k幀的像素(x,y)處的灰度值；M_k(x,y)為此處的背景灰度值；D_k(x,y)為背景差圖像；T為選定的二值化閾值；

步驟1.3.輪廓歸一化，將所有的輪廓進行統(tǒng)一的縮放以一致的高度，行人輪廓歸一化的輸入為每個視頻幀中與行人輪廓相切的長方形中的內(nèi)容；對于訓練集中所有的截取輪廓的圖像，分別遍歷其所有的圖像高度，作為與標準高度做比；某一視角下的標準高度為H，視角下共有K幀圖像，按照時間順序的每幀圖像的高度為h_k,k＝1,2,...,K，則每幀圖像的放大倍數(shù)為a_k＝h_k/H，對該視角下得到每幀圖像，分別應用其對應的放大倍數(shù)a_k，應用雙線性插值算法；

f_a＝f(x,y)+(f(x+1,y)-f(x,y))×p

f_b＝f(x,y+1)+(f(x+1,y+1)-f(x,y+1))×p

式中，f(x,y)為插值前坐標(x,y)處的灰度值；p和q是權值；進行第二次線性插值，計算(x,y)處的插值結(jié)果為：

g(x,y)＝f_a+(f_b-f_a)×q

＝(1-p)(1-q)f(x,y)+p(1-p)f(x+1,y)+q(1-p)f(x,y+1)+pqf(x+1,y+1)

其中，g(x,y)為插值后坐標(x,y)處的灰度值；

步驟2.訓練用于提取步態(tài)周期性特征的卷積神經(jīng)網(wǎng)絡；

步驟2.1.用數(shù)值量化表示訓練集中每一視頻幀在一個步態(tài)周期中的位置，并標記為其標簽，標簽值的計算公式為：

其中，L_i步態(tài)視頻中的第i幀的標簽值；N表示第i幀所在的步態(tài)周期共包括N幀，n表示第i幀為所在的步態(tài)周期中第n幀；

步驟2.2.將標注好的視頻幀送入卷積神經(jīng)網(wǎng)絡，得到輸出值；

步驟2.3.計算輸出值與標簽之間的誤差，通過誤差反向傳播和隨機梯度下降的多次迭代訓練網(wǎng)絡，經(jīng)過多次迭代后訓練直到誤差不再下降為止，誤差的計算公式為

其中，m為輸入網(wǎng)絡的批次大小，即每批含有m張圖像；為對應視頻幀標簽的神經(jīng)網(wǎng)絡的估計；

步驟2.4.保存并復制訓練完成的卷積神經(jīng)網(wǎng)絡；

步驟3.將待測的步態(tài)視頻幀序列送入卷積神經(jīng)網(wǎng)絡中，輸出波形經(jīng)過濾波后，通過確定相鄰的波峰與波谷的位置即得到一個步態(tài)周期。

2.根據(jù)權利要求1所述的一種基于卷積神經(jīng)網(wǎng)絡的步態(tài)周期檢測方法，其特征在于：步驟2所述的卷積神經(jīng)網(wǎng)絡結(jié)構包含多層卷積層以及連接最后一層卷積層的至少一層全連接層，全連接層的最后一層連接輸出層為單神經(jīng)元。