[發(fā)明專(zhuān)利]一種由粗到細(xì)的視頻目標(biāo)行為識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910375228.1
• 申請(qǐng)日: 2019-05-07
• 公開(kāi)（公告）號(hào): CN110163127A
• 公開(kāi)（公告）日: 2019-08-23
• 發(fā)明（設(shè)計(jì)）人: 周其平;劉偉偉;鐘幼平;賴(lài)韻宇;李文旦;章武文;胡睿哲;陳振剛;劉成慶;溫舜茜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)江西省電力有限公司檢修分公司;國(guó)家電網(wǎng)有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 江西省專(zhuān)利事務(wù)所 36100
• 代理人: 張文

1.一種由粗到細(xì)的視頻目標(biāo)行為識(shí)別方法，其特征在于：具體步驟如下：

A、利用現(xiàn)有成熟的姿態(tài)估計(jì)算法或者視頻內(nèi)標(biāo)注信息獲取人體關(guān)鍵點(diǎn)信息，裁剪縮放人體不同身體部位圖像：上半身，左手部，右手部，下半身部和全身部五個(gè)部位；

B、以視覺(jué)計(jì)算組網(wǎng)絡(luò)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入視頻的連續(xù)幀和光流幀中不同部位區(qū)域進(jìn)行多層卷積和池化運(yùn)算，提取VGG網(wǎng)絡(luò)倒數(shù)第二層4096維的全連接層向量，利用最大、最小聚合策略聚合多幀的特征，級(jí)聯(lián)視頻幀和光流圖像的特征，形成最后的不同視頻i中不同部位P_j視頻的特征向量

C、利用提取出的不同部位特征與全局視頻向量迭代訓(xùn)練支持向量機(jī)(SupportVector Machine,SVM)分類(lèi)器,尋找最優(yōu)粗分類(lèi)類(lèi)別與粗類(lèi)別里所包含的細(xì)粒度行為種類(lèi)；在JHMDB數(shù)據(jù)集中，利用公式(1)迭代分類(lèi)后，將數(shù)據(jù)集行為分為三個(gè)粗類(lèi)：上半身類(lèi)行為、下半身類(lèi)行為和其他類(lèi)行為三個(gè)粗類(lèi)；

訓(xùn)練粗分類(lèi)器中，采用真值映射方案，迭代訓(xùn)練粗分類(lèi)器，將行為類(lèi)別映射至不同粗類(lèi)別，直到粗分類(lèi)器輸出粗類(lèi)別錯(cuò)誤率低于閾值；

其中，N表示第j類(lèi)行為包含的測(cè)試樣本數(shù)，T表示行為類(lèi)別總數(shù)，K表示劃分的粗類(lèi)別數(shù)；劃分JHMDB數(shù)據(jù)集為K＝3個(gè)粗類(lèi)別。表示j類(lèi)行為的粗類(lèi)別。其中：

迭代訓(xùn)練粗粒度分類(lèi)器，并且每個(gè)類(lèi)別粗粒度分類(lèi)錯(cuò)誤率控制在0.3以下；測(cè)試時(shí)，測(cè)試視頻得到粗粒度分類(lèi)器識(shí)別結(jié)果概率

D、訓(xùn)練細(xì)粒度分類(lèi)器：每個(gè)細(xì)粒度分類(lèi)器選取不同部位視頻特征向量級(jí)聯(lián)，針對(duì)當(dāng)前包含的多種細(xì)粒度行為進(jìn)行分類(lèi)器訓(xùn)練，遍歷視頻的不同身體部位區(qū)域特征向量組合，找到針對(duì)當(dāng)前細(xì)粒度行為分類(lèi)器的身體部位最佳組合，最后特征向量級(jí)聯(lián)了上半身、左右手部位區(qū)域和全圖上下文區(qū)域特征向量；

五、利用公式(3)將兩級(jí)即粗粒度分類(lèi)器和細(xì)粒度分類(lèi)器分類(lèi)結(jié)果概率融合，得到整個(gè)行為識(shí)別最終結(jié)果：

其中，表示粗類(lèi)別概率k表示預(yù)測(cè)的粗類(lèi)別。表示細(xì)類(lèi)別概率I_k(x_i)表示預(yù)測(cè)的粗類(lèi)別k是否相等于視頻序列x_i的粗類(lèi)別

2.根據(jù)權(quán)利要求1所述的一種由粗到細(xì)的視頻目標(biāo)行為識(shí)別方法，其特征在于：在步驟C中，利用提取出的不同部位和全局視頻特征向量，迭代訓(xùn)練粗分類(lèi)器,尋找最優(yōu)粗分類(lèi)類(lèi)別與粗粒度行為類(lèi)別里所包含的細(xì)粒度行為種類(lèi)，是指：利用真值映射方案，迭代訓(xùn)練粗粒度分類(lèi)器，將行為類(lèi)別映射至不同粗類(lèi)別，直到粗分類(lèi)器輸出粗類(lèi)別錯(cuò)誤率低于閾值。

3.根據(jù)權(quán)利要求1所述的一種由粗到細(xì)的視頻目標(biāo)行為識(shí)別方法，其特征在于：在步驟D中，每個(gè)細(xì)粒度分類(lèi)器選取不同部位視頻特征向量級(jí)聯(lián)，針對(duì)當(dāng)前包含的多種細(xì)粒度行為訓(xùn)練，是指：針對(duì)相似行為聚合成的一個(gè)細(xì)粒度行為集合，組合加權(quán)行為人身體部位特征表達(dá)，達(dá)到細(xì)粒度分類(lèi)更準(zhǔn)確的目的。

4.根據(jù)權(quán)利要求1所述的一種由粗到細(xì)的視頻目標(biāo)行為識(shí)別方法，其特征在于：在步驟E中，將兩級(jí)即粗粒度分類(lèi)器和細(xì)粒度分類(lèi)器分類(lèi)結(jié)果概率融合，得到整個(gè)行為識(shí)別最終結(jié)果，是指：將在步驟C和在步驟D得到的粗粒度結(jié)果和多個(gè)細(xì)粒度分類(lèi)器結(jié)果結(jié)合，形成由粗到細(xì)的行為識(shí)別框架；利用細(xì)粒度分類(lèi)器分類(lèi)相似行為的特點(diǎn)，提高行為識(shí)別準(zhǔn)確率。