[發(fā)明專利]一種基于骨骼特征的動(dòng)態(tài)表示和匹配的人體行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810106594.2
• 申請(qǐng)日: 2018-02-02
• 公開（公告）號(hào): CN108491754B
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 李琦銘;李俊;崇米娜
• 申請(qǐng)（專利權(quán)）人: 泉州裝備制造研究所
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳云川

1.一種基于骨骼特征的動(dòng)態(tài)表示和匹配的人體行為識(shí)別方法，其特征在于包括如下步驟：

步驟1、訓(xùn)練過程

(1)在人體行為視頻序列中，將每一幀的人體骨骼中關(guān)節(jié)點(diǎn)的三維坐標(biāo)作為骨骼特征序列的訓(xùn)練樣本，數(shù)據(jù)庫(kù)中訓(xùn)練樣本所屬的類別為已知，對(duì)骨骼的三維坐標(biāo)進(jìn)行預(yù)處理后提取骨骼特征信息，根據(jù)骨骼特征信息的勢(shì)能變化，將視頻序列中的人體行為分為運(yùn)動(dòng)變化較小的靜態(tài)行為序列，以及運(yùn)動(dòng)變化較大的動(dòng)態(tài)行為序列，將視頻序列分成姿態(tài)變化不一樣的多個(gè)分段；

(2)對(duì)每個(gè)分段提取一定數(shù)量的關(guān)鍵姿態(tài)，在一定數(shù)量的連續(xù)分段中隨機(jī)提取關(guān)鍵姿態(tài)，使得每個(gè)訓(xùn)練樣本在每個(gè)分段中得到不同數(shù)量的關(guān)鍵姿態(tài)來構(gòu)成骨骼特征的關(guān)鍵姿態(tài)序列，利用k近鄰分類器提取出魯棒和區(qū)分性更強(qiáng)的骨骼特征的關(guān)鍵姿態(tài)序列，并把提取出來的關(guān)鍵姿態(tài)序列與同一分段中的關(guān)鍵姿態(tài)進(jìn)行合并，得到最終表示連續(xù)視頻分段的人體行為特征的關(guān)鍵姿態(tài)序列，使每個(gè)分段中的關(guān)鍵姿態(tài)的數(shù)量根據(jù)自身長(zhǎng)短變化特性進(jìn)行改變；

步驟2、識(shí)別過程

針對(duì)骨骼特征序列識(shí)別樣本，首先，將人體行為視頻序列分成姿態(tài)變化不一樣的靜態(tài)行為分段和動(dòng)態(tài)行為分段；其次，利用與訓(xùn)練過程相同的關(guān)鍵姿態(tài)序列的提取方法用于表示識(shí)別樣本；最后，將識(shí)別樣本的行為序列分成具有固定長(zhǎng)度分段的測(cè)試子序列與訓(xùn)練樣本進(jìn)行匹配，同時(shí)對(duì)靜態(tài)行為分段和動(dòng)態(tài)行為分段運(yùn)用不同的匹配方法，結(jié)合靜態(tài)行為分段和動(dòng)態(tài)行為分段匹配的結(jié)果，得到匹配度最高的對(duì)應(yīng)訓(xùn)練樣本的類別作為該測(cè)試子序列的類別。

2.根據(jù)權(quán)利要求1所述的一種基于骨骼特征的動(dòng)態(tài)表示和匹配的人體行為識(shí)別方法，其特征在于：所述根據(jù)骨骼特征信息的勢(shì)能變化，將視頻序列中的人體行為分為運(yùn)動(dòng)變化較小的靜態(tài)行為序列，以及運(yùn)動(dòng)變化較大的動(dòng)態(tài)行為序列，將視頻序列分成姿態(tài)變化不一樣的多個(gè)分段，具體步驟如下：

對(duì)人體行為視頻序列中骨骼的三維坐標(biāo)提取的骨骼特征信息生成每一幀的特征向量，假設(shè)F_i表示人體行為視頻序列的第i幀的特征向量，那么勢(shì)能E_p(i)可由當(dāng)前幀與第一幀的特征向量F₁的歐氏距離得到：E_p(i)＝||F_i-F₁||² (1)；

然后用相鄰幀的勢(shì)能變化E_d(i)作為骨骼特征的勢(shì)能變化大小：

E_d(i)＝E_p(i)-E_p(i-1) (2)；

設(shè)定勢(shì)能變化閾值，把小于這一勢(shì)能變化閾值的視頻序列作為運(yùn)動(dòng)變化較小的靜態(tài)行為分段，反之則為動(dòng)態(tài)行為分段，將所有勢(shì)能變化大小小于所述勢(shì)能變化閾值的置為零。

3.根據(jù)權(quán)利要求1所述的一種基于骨骼特征的動(dòng)態(tài)表示和匹配的人體行為識(shí)別方法，其特征在于：上述步驟1訓(xùn)練過程的步驟(2)，具體包括如下步驟：

(1)假設(shè)F_r＝{F_r1,F_r1,...,F_rm}是由m個(gè)隨機(jī)選擇的關(guān)鍵姿態(tài)r組成的序列，r指的是隨機(jī)選擇的關(guān)鍵姿態(tài),表示第j次選取的序列，為了尋找中所有關(guān)鍵姿態(tài)的k近鄰，為其構(gòu)造一個(gè)訓(xùn)練集，訓(xùn)練集中包含與屬于同一行為的視頻幀特征向量，以及其它行為序列中隨機(jī)選擇的視頻幀特征向量，那么，在訓(xùn)練集中得到其k近鄰的得票的置信度分?jǐn)?shù)為：

其中，kⁱ是在訓(xùn)練集中得到的k近鄰的個(gè)數(shù)，是k近鄰中與屬于同一行為的近鄰的個(gè)數(shù)，在所有隨機(jī)提取的關(guān)鍵姿態(tài)序列中，選擇置信度分?jǐn)?shù)位于前N個(gè)關(guān)鍵姿態(tài)序列用于表示這一行為視頻序列，從統(tǒng)計(jì)學(xué)的角度出發(fā)，當(dāng)j和k的個(gè)數(shù)足夠大的，可以提取出魯棒性及區(qū)分性能高的行為視頻序列；

(2)利用K均值聚類方法從已得到的人體行為視頻序列中位于該分段內(nèi)的關(guān)鍵姿態(tài)中提取固定數(shù)量的關(guān)鍵姿態(tài)用于表示靜態(tài)行為分段，則所有位于相同靜態(tài)行為分段中的關(guān)鍵姿態(tài)都利用K均值聚類得到固定數(shù)量的關(guān)鍵姿態(tài)用于表示該分段；而所有位于動(dòng)態(tài)行為分段中的關(guān)鍵姿態(tài)序列直接提取用于表示該分段，針對(duì)姿態(tài)變化較大的分段可以用較多數(shù)量的關(guān)鍵姿態(tài)表示，反之姿態(tài)變化較小的分段用較小數(shù)量的關(guān)鍵姿態(tài)表示。

4.根據(jù)權(quán)利要求1所述的一種基于骨骼特征的動(dòng)態(tài)表示和匹配的人體行為識(shí)別方法，其特征在于上述步驟2的識(shí)別過程具體包括如下步驟：

(1)由于靜態(tài)行為分段中是由固定數(shù)量的聚類中心表示，那么，識(shí)別樣本中的測(cè)試子序列與訓(xùn)練樣本中的靜態(tài)行為分段距離可由公式(4)衡量：

其中，n_s表示識(shí)別樣本的測(cè)試子序列第l個(gè)分段中聚類得到的關(guān)鍵姿態(tài)的個(gè)數(shù)，由于靜態(tài)行為分段和動(dòng)態(tài)行為分段是交替出現(xiàn)的，假設(shè)第一個(gè)出現(xiàn)的是靜態(tài)行為分段，表示識(shí)別樣本的測(cè)試子序列第l個(gè)分段中第i個(gè)關(guān)鍵姿態(tài)，表示訓(xùn)練樣本對(duì)應(yīng)的第l個(gè)分段中距離最近的關(guān)鍵姿態(tài)；

(2)在動(dòng)態(tài)行為分段的匹配過程中，識(shí)別樣本和訓(xùn)練樣本的動(dòng)態(tài)行為分段都由多個(gè)不同長(zhǎng)度的關(guān)鍵姿態(tài)序列表示，利用形狀信息動(dòng)態(tài)時(shí)間規(guī)整shapeDTW方法進(jìn)行動(dòng)態(tài)匹配，人體行為序列的運(yùn)動(dòng)軌跡可形象地表示為具有形狀上下文信息的曲線，對(duì)單個(gè)關(guān)鍵姿態(tài)的上下文信息構(gòu)造其局部的形狀特征，采用前后關(guān)鍵姿態(tài)的特征信息與當(dāng)前關(guān)鍵姿態(tài)的特征信息拼接作為形狀信息動(dòng)態(tài)時(shí)間規(guī)整shapeDTW方法中當(dāng)前關(guān)鍵姿態(tài)的形狀上下文信息，具體的匹配過程包括如下步驟：

假設(shè)兩個(gè)關(guān)鍵姿態(tài)序列為：

X＝{x₁,x₂,...x_m}

Y＝{y₁,y₂,...y_n} (5)

其中，序列X中含有m個(gè)關(guān)鍵姿態(tài)，序列Y中含有n個(gè)關(guān)鍵姿態(tài)，且每個(gè)關(guān)鍵姿態(tài)x_i和y_j都是多維的骨骼特征向量，兩個(gè)關(guān)鍵姿態(tài)之間的距離為：

其中，和分別表示關(guān)鍵姿態(tài)x_i和y_j的形狀上下文信息，i＝1,2,...m,j＝1,2,...n，然后，通過迭代計(jì)算兩個(gè)關(guān)鍵姿態(tài)序列的shapeDTW距離D_shape(m,n),其中每個(gè)迭代步驟得到的距離為：D_shape(i,j)＝d_ij+min{D_shape(i-1,j),D_shape(i,j-1),D_shape(i-1,j-1)}(7)

然后，根據(jù)關(guān)鍵姿態(tài)序列的shapeDTW距離的計(jì)算方法，得到識(shí)別樣本和訓(xùn)練樣本的子序列對(duì)應(yīng)第l個(gè)動(dòng)態(tài)行為分段的距離：

其中，n_m表示識(shí)別樣本的測(cè)試子序列第l個(gè)動(dòng)態(tài)分段中得到的關(guān)鍵姿態(tài)序列的個(gè)數(shù),表示測(cè)試子序列第l個(gè)動(dòng)態(tài)分段中第i個(gè)關(guān)鍵姿態(tài)序列，表示訓(xùn)練樣本對(duì)應(yīng)的第l個(gè)動(dòng)態(tài)分段中距離最近的關(guān)鍵姿態(tài)序列；

(3)利用測(cè)試子序列的靜態(tài)行為分段及動(dòng)態(tài)行為分段的距離之和得到最終的匹配結(jié)果，將與識(shí)別樣本測(cè)試子序列距離最小的訓(xùn)練樣本的類別作為其類別。