[發(fā)明專利]一種基于特征協(xié)方差矩陣的動(dòng)態(tài)手勢(shì)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711382205.0
• 申請(qǐng)日: 2017-12-20
• 公開（公告）號(hào): CN108171133B
• 公開（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 康文雄;方林普;吳桂樂(lè)
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于特征協(xié)方差矩陣的動(dòng)態(tài)手勢(shì)識(shí)別方法，其特征在于，所述的動(dòng)態(tài)手勢(shì)識(shí)別方法包括下列步驟：

S1、利用膚色信息與金字塔LK光流算法跟蹤RGB視頻序列中的二維手勢(shì)，從而獲取每幀中手部區(qū)域的FAST角點(diǎn)；或者使用相機(jī)捕獲3D動(dòng)態(tài)手勢(shì)，從而獲取每幀中人手的關(guān)節(jié)點(diǎn)在相機(jī)坐標(biāo)系中的三維位置；

其中，所述的步驟S1中利用膚色信息與金字塔LK光流算法跟蹤RGB視頻序列中的二維手勢(shì)，從而獲取每幀中手部區(qū)域的FAST角點(diǎn)的過(guò)程如下：

S101、在第一幀中利用已訓(xùn)練好的人手檢測(cè)器獲取一個(gè)包含整個(gè)手部區(qū)域的矩形框；

S102、對(duì)該矩形框內(nèi)的圖像進(jìn)行膚色分割，并選取最大的連通域作為粗略的手部區(qū)域；

S103、在分割出來(lái)的粗略的手部區(qū)域中提取FAST角點(diǎn)，并利用金字塔LK光流算法計(jì)算上述FAST角點(diǎn)的光流矢量；

S104、利用步驟S103中得到的光流矢量計(jì)算所有FAST角點(diǎn)的平均位移矢量，并將該平均位移矢量作為人手的位移矢量；

S105、根據(jù)手的位移矢量移動(dòng)該幀中的矩形框到下一幀中，從而實(shí)現(xiàn)了對(duì)人手的跟蹤；

S106、利用步驟S103中得到的光流矢量計(jì)算所有FAST角點(diǎn)的平均移動(dòng)距離，除去移動(dòng)距離小于平均移動(dòng)距離的FAST角點(diǎn)，并且保存剩余的FAST角點(diǎn)；

S107、重復(fù)步驟S102～步驟S106，從而獲取每幀中手部區(qū)域的FAST角點(diǎn)；

S2、對(duì)于每個(gè)RGB圖像幀，提取能在接下來(lái)的兩幀中被穩(wěn)定跟蹤的手部區(qū)域的FAST角點(diǎn)，并為每個(gè)FAST角點(diǎn)計(jì)算一個(gè)8維的特征向量，從而獲取二維動(dòng)態(tài)手勢(shì)的局部運(yùn)動(dòng)模式；對(duì)于每個(gè)深度圖像幀，估計(jì)手部關(guān)節(jié)點(diǎn)在3D空間中的位置，并為每個(gè)手部關(guān)節(jié)點(diǎn)計(jì)算一個(gè)10維的特征向量，從而獲取三維動(dòng)態(tài)手勢(shì)的局部運(yùn)動(dòng)模式；

其中，所述的步驟S2中對(duì)于每個(gè)RGB圖像幀，提取能在接下來(lái)的兩幀中被穩(wěn)定跟蹤的手部區(qū)域的FAST角點(diǎn)，并為每個(gè)FAST角點(diǎn)計(jì)算一個(gè)8維的特征向量，從而獲取二維動(dòng)態(tài)手勢(shì)的局部運(yùn)動(dòng)模式的過(guò)程如下：

S211、使用金字塔LK光流算法對(duì)每幀中的手部區(qū)域的FAST角點(diǎn)進(jìn)行跟蹤，并且提取能在接下來(lái)的兩幀中被穩(wěn)定跟蹤的手部區(qū)域的FAST角點(diǎn)；

S212、對(duì)步驟S211中的每個(gè)FAST角點(diǎn)，使用公式(1)計(jì)算一個(gè)8維的特征向量：

f(x,y,t):＝[x,y,t,I_t,u,v,u_t,v_t]^T (1)

其中，x與y分別表示某FAST角點(diǎn)在圖像中的橫坐標(biāo)與縱坐標(biāo)，t表示該FAST角點(diǎn)所在的幀的索引，表示該FAST角點(diǎn)所在位置的像素值I(x,y,t)對(duì)時(shí)間t的一階偏導(dǎo)數(shù)，u與v分別表示該FAST角點(diǎn)沿X軸與Y軸的光流，u_t與v_t分別表示u與v對(duì)時(shí)間的一階偏導(dǎo)數(shù)；

其中，所述的步驟S2中為每個(gè)深度圖像幀中的每個(gè)手部關(guān)節(jié)點(diǎn)計(jì)算一個(gè)10維的特征向量，從而獲取三維動(dòng)態(tài)手勢(shì)的局部運(yùn)動(dòng)模式的過(guò)程如下：

S221、使用RealSense F200自帶的SDK實(shí)時(shí)地獲取人手的三維骨架信息，并保存每幀中手部關(guān)節(jié)點(diǎn)的三維坐標(biāo)；

S222、對(duì)每幀中的每個(gè)關(guān)節(jié)點(diǎn)，使用公式(2)計(jì)算一個(gè)10維的特征向量：

f(x,y,z,t):＝[x,y,z,t,u,v,w,u_t,v_t,w_t]^T (2)

其中，(x,y,z,t)表示某關(guān)節(jié)點(diǎn)的時(shí)空坐標(biāo)，(u,v,w)分別表示該關(guān)節(jié)點(diǎn)沿X軸、Y軸與Z軸的位移，(u_t,v_t,w_t)分別表示(u,v,w)對(duì)時(shí)間的一階偏導(dǎo)數(shù)；

S3、將一個(gè)動(dòng)態(tài)手勢(shì)序列分為若干個(gè)子序列，對(duì)二維動(dòng)態(tài)手勢(shì)計(jì)算每個(gè)子序列中的所有的8維特征向量或?qū)θS動(dòng)態(tài)手勢(shì)計(jì)算每個(gè)子序列中的所有的10維特征向量；分別計(jì)算每個(gè)子序列和整個(gè)序列中的特征向量集合的對(duì)數(shù)協(xié)方差矩陣；將所有的對(duì)數(shù)協(xié)方差矩陣的上三角部分連接起來(lái)構(gòu)成一個(gè)列向量，從而獲得整個(gè)二維或三維動(dòng)態(tài)手勢(shì)的一個(gè)特征協(xié)方差矩陣描述子；

S4、計(jì)算訓(xùn)練集中的每個(gè)動(dòng)態(tài)手勢(shì)的特征協(xié)方差矩陣描述子，并訓(xùn)練一個(gè)SVM分類器對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行分類；對(duì)于每個(gè)待測(cè)試的動(dòng)態(tài)手勢(shì)，首先計(jì)算其特征協(xié)方差矩陣描述子，然后用已訓(xùn)練的SVM分類器對(duì)其進(jìn)行分類。