[發(fā)明專利]基于非負(fù)矩陣分解的人體動(dòng)作視頻識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410161014.1
• 申請(qǐng)日: 2014-04-21
• 公開（公告）號(hào): CN103902989B
• 公開（公告）日: 2017-03-01
• 發(fā)明（設(shè)計(jì)）人: 韓紅;曹賽;洪漢梯;李楠;陳建;史媛媛
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/54
• 代理公司: 陜西電子工業(yè)專利中心61205
• 代理人: 田文英,王品華

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及視頻圖像中的一種基于非負(fù)矩陣分解的人體動(dòng)作視頻識(shí)別方法。本發(fā)明可用于智能監(jiān)控、視頻檢索、人機(jī)交互、娛樂及體育運(yùn)動(dòng)分析等。

背景技術(shù)

人體動(dòng)作視頻識(shí)別的目的在于，在成功實(shí)現(xiàn)動(dòng)作跟蹤、特征提取的基礎(chǔ)上，通過分析獲得的人體動(dòng)作視頻特征參數(shù)，自動(dòng)識(shí)別人體動(dòng)作視頻類型。人體動(dòng)作視頻識(shí)別技術(shù)在視覺監(jiān)督、人機(jī)交互、視頻會(huì)議、虛擬現(xiàn)實(shí)等領(lǐng)域均有著廣泛的應(yīng)用前景。

目前已經(jīng)有很多種動(dòng)作視頻識(shí)別技術(shù)被提出，特別是目前利用廣泛的基于整體運(yùn)動(dòng)特征的方法。它將人體運(yùn)動(dòng)區(qū)域從背景中分離出來，并對(duì)該區(qū)域的運(yùn)動(dòng)和表述進(jìn)行整體性的描述，如輪廓、剪影、邊緣、光流、梯度等。該方法能夠編碼較多的信息，因此具有較強(qiáng)的表現(xiàn)力，識(shí)別能力強(qiáng)，但是，由于這些方法提取特征復(fù)雜，計(jì)算量大，容易受到背景的影響，而且在場(chǎng)景復(fù)雜的情況下，整體特征的生成需要背景減除和目標(biāo)跟蹤等較多的預(yù)處理，識(shí)別結(jié)果往往不盡如人意。

浙江大學(xué)申請(qǐng)的專利“一種基于模板匹配的視點(diǎn)無關(guān)的人體動(dòng)作識(shí)別方法”（專利申請(qǐng)?zhí)枺?00810059129.4，公開號(hào)：CN101216896）中公開了一種基于模板匹配的方法。該方法首先為各個(gè)樣例動(dòng)作計(jì)算運(yùn)動(dòng)歷史圖并提取相應(yīng)極坐標(biāo)特征來構(gòu)造動(dòng)作模板，然后計(jì)算待定識(shí)別動(dòng)作的特征并投射至模板動(dòng)作子空間中得到低維坐標(biāo)，計(jì)算坐標(biāo)與模板球面之間的距離，選擇最近的作為分類結(jié)果。該方法雖然操作簡(jiǎn)單，但是仍然存在的不足是，需要進(jìn)行背景減除，易受到背景環(huán)境的影響，識(shí)別率低。

上海交通大學(xué)申請(qǐng)的專利“一種人體動(dòng)作識(shí)別的方法”（專利申請(qǐng)?zhí)枺?01310054812.X，公開號(hào)：CN103164694A）中公開一種計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域的人體動(dòng)作識(shí)別的方法。該方法使用了一種包含時(shí)間和空間信息的特征來表達(dá)當(dāng)前幀人體的運(yùn)動(dòng)狀態(tài)，然后再通過一種圖論半監(jiān)督方法設(shè)計(jì)分類器，從而達(dá)到識(shí)別人體動(dòng)作的目的。該方法雖然在觀察角度不同時(shí)取得較高的識(shí)別率，但是仍然存在的不足是：特征維數(shù)較高，計(jì)算量大，容易受到外部光照變化的影響，適用性不不強(qiáng)。

發(fā)明內(nèi)容

本發(fā)明目的是針對(duì)上述已有技術(shù)的不足，提出的一種基于非負(fù)矩陣分解的人體動(dòng)作視頻識(shí)別方法。本發(fā)明與現(xiàn)有人體動(dòng)作視頻識(shí)別技術(shù)相比識(shí)別率高，適用性強(qiáng)。

實(shí)現(xiàn)本發(fā)明目的的具體思路是，在充分考慮人體動(dòng)作視頻特征提取易受背景環(huán)境、尺度變化的影響且提取的特征維數(shù)較高的情況下，先將輸入的人體動(dòng)作視頻圖像預(yù)處理，采用多尺度2DHarris關(guān)鍵點(diǎn)檢測(cè)算子提取空間興趣點(diǎn)，構(gòu)建由圖像塊組成的立方體，提取每個(gè)立方體的特征向量，相互連接構(gòu)造特征矩陣，再利用特征矩陣來訓(xùn)練出一個(gè)超完備字典，采用正交匹配跟蹤OMP公式，計(jì)算人體動(dòng)作視頻測(cè)試集特征矩陣的稀疏表示系數(shù)向量，再采用稀疏重構(gòu)公式，對(duì)人體動(dòng)作視頻測(cè)試集特征矩陣進(jìn)行稀疏重構(gòu)，得到殘差矩陣，最后根據(jù)殘差矩陣元素值對(duì)人體動(dòng)作視頻測(cè)試集進(jìn)行分類。本發(fā)明在特征提取過程中采用檢測(cè)空間興趣點(diǎn)的方法，沒有采用背景分割的方法，從而能準(zhǔn)確的從背景環(huán)境中提取出包含人體動(dòng)作部分的圖像，識(shí)別率高，其次，采用多尺度2DHarris檢測(cè)算子，檢測(cè)空間興趣點(diǎn)不受光照及尺度變化的影響，所以具有更強(qiáng)的適用性。

本發(fā)明實(shí)現(xiàn)的具體步驟包括如下：

(1)預(yù)處理視頻圖像：

(1a)輸入90個(gè)人體動(dòng)作視頻圖像；

(1b)在輸入的人體動(dòng)作視頻圖像中，任選80個(gè)人體動(dòng)作視頻圖像作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集，其余的10個(gè)人體動(dòng)作視頻圖像各自作為一個(gè)人體動(dòng)作視頻訓(xùn)練樣本集；

(1c)利用矩陣實(shí)驗(yàn)室matlab的橫向連接字符串strcat函數(shù)，將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的人體動(dòng)作視頻圖像，轉(zhuǎn)換為時(shí)間連續(xù)的單幅圖片序列；

(1d)對(duì)單幅圖片序列進(jìn)行隔行采樣，獲得預(yù)處理的降采樣圖片序列；

(2)檢測(cè)空間興趣點(diǎn)：

(2a)分別將人體動(dòng)作視頻訓(xùn)練樣本集和人體動(dòng)作視頻測(cè)試樣本集中的降采樣圖片序列等分成8段；

(2b)在每段降采樣圖片序列的第一幀圖片中，采用多尺度2DHarris檢測(cè)算子公式，計(jì)算獲得每段降采樣圖片序列的第一幀圖片中所有像素點(diǎn)處的響應(yīng)值；

(2c)將每段降采樣圖片序列的第一幀圖片中像素點(diǎn)處的響應(yīng)值大于等于1000的像素點(diǎn)定義為空間興趣點(diǎn)；

(3)構(gòu)建立方體：

(3a)在每個(gè)空間興趣點(diǎn)所在的第一幀圖片上，截取一個(gè)以空間興趣點(diǎn)為中心，以24個(gè)像素點(diǎn)為邊長(zhǎng)的正方形圖像塊；