[發(fā)明專利]一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201210063893.5
• 申請日: 2012-03-12
• 公開（公告）號: CN102682302A
• 公開（公告）日: 2012-09-19
• 發(fā)明（設(shè)計）人: 黃鮮萍;鄭莉莉;梁榮華
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/00
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;王利強

1.一種基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于：所述人體姿態(tài)識別方法包括以下步驟：

(1)對視頻圖像提取Hu不變矩特征，計算圖像序列的覆蓋率，提取覆蓋率最高的設(shè)定覆蓋百分?jǐn)?shù)為候選關(guān)鍵幀，然后計算候選關(guān)鍵幀的失真率，以提取其中最小的失真百分?jǐn)?shù)為關(guān)鍵幀；

(2)對關(guān)鍵幀進行前景圖像的抽取，得到運動人體的前景圖像后；

(3)提取關(guān)鍵幀的特征信息，所述特征信息為六星模型、六星角度和離心率；得到多特征融合的圖像特征向量；

(4)使用一對一的訓(xùn)練好的分類模型，所述分類模型為基于SVM的姿態(tài)分類器，對姿態(tài)進行識別。

2.如權(quán)利要求1所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于：所述步驟(4)中，針對N類姿態(tài)，在任意兩類樣本之間設(shè)計一個SVM，因此就需要設(shè)計N*(N-1)/2個SVM。

3.如權(quán)利要求1或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于：所述步驟(4)中，分類模型的訓(xùn)練過程如下：

(4.1)首先對人體的前景圖像進行預(yù)處理，對于不同的行為視頻片段，先對其進行基于碼本的背景訓(xùn)練，通過視頻序列幀與背景模型的圖像差分，得到運動人體的前景圖像，并進行形態(tài)學(xué)的圖像處理，去除圖像噪聲；

(4.2)提取包含11種姿態(tài)的訓(xùn)練數(shù)據(jù)的特征，組成標(biāo)準(zhǔn)樣本的特征庫，使用多姿態(tài)融合的方法對運動人體進行姿態(tài)特征描述，所述11種姿態(tài)分別為行走、小跳躍、大跳躍、側(cè)走、蹲下、彎腰、爬行、俯臥撐、仰臥起坐和坐下；

(4.3)通過對標(biāo)準(zhǔn)樣本的學(xué)習(xí)，構(gòu)建基于SVM的多類分類模型；

(4.4)利用測試樣本對模型進行驗證，如果低于預(yù)計的正確率則調(diào)整訓(xùn)練樣本，返回到(4.1)，直到高于預(yù)計的正確率，得到訓(xùn)練后的分類模型。

4.如權(quán)利要求1或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于：所述步驟(3)中，所述六星模型的提取過程：提取人體前景圖像的質(zhì)心后，得到的人體側(cè)影輪廓點與質(zhì)心點之間的距離，將人體側(cè)影圖分為左右兩部分，分別計算其兩部分側(cè)影的最上、最下和最左邊點、最右邊點與質(zhì)心的距離；在六星模型得到了六個輪廓點到之心點的軸線后，計算軸線與相鄰軸線之間的角度信息；計算人體側(cè)影的離心率。

5.如權(quán)利要求1或2所述的基于關(guān)鍵幀的多特征融合的人體姿態(tài)識別方法，其特征在于：所述步驟(1)中，計算覆蓋率的過程：首先計算每兩幀的相似性系數(shù)，當(dāng)前幀和視頻中的其他幀的相似性大于當(dāng)前幀與其他幀的相似性系數(shù)平均值的則列入當(dāng)前幀的相關(guān)幀集合中；則相關(guān)幀集合中幀與視頻中所有幀數(shù)的比例即當(dāng)前幀的覆蓋率，求取視頻中每一幀圖像的覆蓋率，并取覆蓋率最高的30％的幀作為候選關(guān)鍵幀；

計算失真率的過程：首先計算圖像的灰度值的估計概率，及圖像的灰度級均值，然后計算每一幀圖像的一階、二階、三階矩，分表表示均值、方差和偏斜度，用此三維向量表示圖像的特征，并計算關(guān)鍵幀的相關(guān)幀集合的平均矩和視頻中所有幀的平均矩；最后計算候選關(guān)鍵幀的相關(guān)幀集合的平均矩與所有幀的平均矩的目標(biāo)函數(shù)最大值，從而得到候選關(guān)鍵幀的失真率，取最小的50％作為該視頻的最終關(guān)鍵幀。