[發(fā)明專利]一種基于稀疏時間分段網(wǎng)絡(luò)的視頻動作識別方法

在審

• 申請?zhí)枺?/td>: 201810516281.4
• 申請日: 2018-05-25
• 公開（公告）號: CN108764128A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計）人: 溫世平;曾小芬;黃廷文
• 申請（專利權(quán)）人: 華中科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

1.一種基于稀疏時間分段網(wǎng)絡(luò)的視頻動作識別方法，其特征在于，該方法包括以下步驟：

S1.構(gòu)建時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)；

S2.準備訓練視頻集合，從每個訓練視頻中提取信息，對時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)進行第一次訓練和第一次優(yōu)化，使得損失函數(shù)最?。?/p>

S3.在第一次優(yōu)化后的時間神經(jīng)網(wǎng)絡(luò)和空間神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中加入稀疏項；

S4.對加入稀疏項的時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)進行第二次訓練和第二次優(yōu)化，使得加入稀疏項的損失函數(shù)最??；

S5.對第二次優(yōu)化后的時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)進行裁剪和尺寸調(diào)整；

S6.對尺寸調(diào)整后的時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)進行第三次訓練和第三次優(yōu)化，判斷識別精度或者稀疏度是否達到期望，若否則重復(fù)步驟S3-S5，若是，則得到第三次優(yōu)化后的時間神經(jīng)網(wǎng)絡(luò)和空間神經(jīng)網(wǎng)絡(luò)；

S7.從待識別視頻中提取信息，將提取的信息輸入至第三次優(yōu)化后的時間神經(jīng)卷積網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)，將時間卷積神經(jīng)網(wǎng)絡(luò)和空間卷積神經(jīng)網(wǎng)絡(luò)的輸出融合后得到動作識別結(jié)果。

2.如權(quán)利要求1所述的視頻動作識別方法，其特征在于，從視頻V中提取信息，包括以下步驟：

(1)將視頻V劃分成K段等長的片段{S₁,S₂,...,S_K}；

(2)從每個片段中隨機選取一幀，該幀的信息包括RGB圖像及對應(yīng)的光流信息，光流信息包括水平方向的光流圖像和垂直方向的光流圖像；

(3)將所有選取的幀擬合為一長度為K的片段{T₁,T₂,...,T_K}。

3.如權(quán)利要求1所述的視頻動作識別方法，其特征在于，步驟S2中損失函數(shù)的計算公式如下：

其中，C是動作類別的數(shù)量，y_i是動作類別i所對應(yīng)的標簽真值，G_i表示G的第i個維度，G＝g(F(T₁；W),F(T₂；W),...,F(T_K；W))，g表示分段一致性函數(shù)，綜合了多個短片段的輸出，以獲得一個一致的類別假設(shè)，F(xiàn)(T_K,W)表示具有參數(shù)W的卷積神經(jīng)網(wǎng)絡(luò)函數(shù)，其對短片段T_K起作用，并對所有類別中進行評分。

4.如權(quán)利要求1所述的視頻動作識別方法，其特征在于，所述方法使用按通道和/或濾波器的結(jié)構(gòu)化稀疏，加入稀疏項的損失函數(shù)計算公式如下：

L(W)＝L_D(W)+λ_nL_n(W)+λ_sL_s(W) (3)

L_s(W)＝λ_fL_f(W)+λ_cL_c(W) (5)

其中，L_D(W)表示模型在訓練數(shù)據(jù)上的損失，L_n(W)表示一般的正則損失項，例如，l₁正則項或l₂正則項，λ_n表示一般正則損失項的超參數(shù)，L_s(W)表示由稀疏項引入的損失，λ_s是稀疏項的超參數(shù)，λ_f是濾波器稀疏項的超參數(shù)，λ_c是通道稀疏項的超參數(shù)。

5.如權(quán)利要求4所述的視頻動作識別方法，其特征在于，按濾波器稀疏對應(yīng)的稀疏項計算公式如下：

其中，N表示網(wǎng)絡(luò)中卷積層的數(shù)量，H、WID分別表示卷積核的高和寬，n_height和n_width分別表示當前參與運算的卷積核上點的坐標，表示第n層卷積層中第三維是n_height、第四維是n_width、第一維和第二維取任意值時得到的權(quán)值矩陣，|| ||是正則運算。