[發(fā)明專利]基于手勢(shì)智能感知和人機(jī)協(xié)同機(jī)制的人機(jī)猜拳方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710432455.4
• 申請(qǐng)日: 2017-06-09
• 公開（公告）號(hào): CN107329564B
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 馮志全;周曉燕;喬宇;艾長勝;魏軍;李映君
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 張紅軍

1.一種基于手勢(shì)智能感知和人機(jī)協(xié)同機(jī)制的人機(jī)猜拳方法，其特征在于，包括以下步驟：

步驟a，計(jì)算機(jī)隨機(jī)播放三種出拳手勢(shì)動(dòng)畫，用戶位于計(jì)算機(jī)的手勢(shì)可識(shí)別范圍內(nèi)；

步驟b，用戶將手抬起并做出出拳手勢(shì)，計(jì)算機(jī)以人手為中心在其周圍自動(dòng)構(gòu)建一個(gè)虛擬界面，當(dāng)人手處在虛擬界面內(nèi)時(shí)，確定該手勢(shì)有效，計(jì)算機(jī)檢測(cè)到有效手勢(shì)的同時(shí)，計(jì)算機(jī)停止播放動(dòng)畫并且隨機(jī)彈出三種手勢(shì)動(dòng)畫的一種；

步驟c，計(jì)算機(jī)對(duì)手勢(shì)進(jìn)行識(shí)別，手勢(shì)識(shí)別的結(jié)果與計(jì)算機(jī)隨機(jī)出拳結(jié)果進(jìn)行勝負(fù)判定；

在步驟b中，構(gòu)建虛擬界面后通過判斷操作者身體重心是否移動(dòng)來確定虛擬界面是否需要移動(dòng)刷新，包括以下步驟：

步驟1：通過Kinect獲取人手在三維空間內(nèi)的坐標(biāo)，連續(xù)記錄5幀人手的三維坐標(biāo)，判斷是否相對(duì)靜止，若靜止記錄人手重心點(diǎn)坐標(biāo)P，進(jìn)行步驟2，否則繼續(xù)判斷；

步驟2：以P為中心，在人手周圍生成虛擬界面，構(gòu)建過程結(jié)束，虛擬界面符號(hào)表示中各變量的值可由以下公式確定：

其中，P_x、P_y、P_z分別為P在x方向、y方向、z方向的坐標(biāo)值，L、W和H為經(jīng)驗(yàn)所得到的虛擬界面的長、寬、高的值，x₁、x₂、y₁、y₂、z₁、z₂分別指的是在Kinect確定的空間坐標(biāo)系中，x方向和y方向以及z方向的最小值和最大值；

步驟3：構(gòu)建完虛擬界面后，獲得虛擬界面的重心坐標(biāo)W；

其中，W_x、W_y、W_z分別為虛擬界面的中心W在空間x方向、y方向和z方向的坐標(biāo)值；

步驟4：獲得虛擬界面構(gòu)建完成時(shí)人體的初始重心坐標(biāo)P₁，計(jì)算人體重心和虛擬界面中心的相對(duì)位置

步驟5：獲取每幀人體的重心坐標(biāo)P₂，并計(jì)算人體在空間中的移動(dòng)距離判斷d＞s是否成立，s為預(yù)設(shè)常量，若成立表明虛擬界面需要移動(dòng)，記錄下此時(shí)人體的重心位置P₂，根據(jù)公式(3.4)計(jì)算移動(dòng)后虛擬界面的中心坐標(biāo)V，然后轉(zhuǎn)向步驟6，若不需要移動(dòng)，則轉(zhuǎn)到步驟4；

步驟6：按照公式(4.5)更新虛擬界面中的值；

其中，V_x、V_y、V_z分別為虛擬界面的中心V在x方向、y方向和z方向的坐標(biāo)值；

步驟c中，對(duì)手勢(shì)識(shí)別時(shí)采用基于Kinect的手勢(shì)分割，首先，使用OPENNI中的HandGenerator類獲得人手在圖像中的深度信息和位置信息，運(yùn)用深度信息和閾值對(duì)手勢(shì)進(jìn)行提取，若深度值在閾值內(nèi)，則為人手，否則則不是人手，初步分割出人手；然后采用形狀上下文密度分布特征對(duì)手勢(shì)進(jìn)行手勢(shì)特征提取；最后將提取的手勢(shì)特征與手勢(shì)模板庫中的手勢(shì)特征進(jìn)行比對(duì)、識(shí)別；

所述形狀上下文密度分布特征提取手勢(shì)特征中用一個(gè)特征向量描述空間手勢(shì)坐標(biāo)分布特征信息SCDDF：

式中表示手勢(shì)主方向，手勢(shì)主方向是指從手勢(shì)重心點(diǎn)到手勢(shì)最遠(yuǎn)點(diǎn)的一個(gè)方向向量；第二個(gè)特征向量r_i表示將二值化的手勢(shì)圖像分成M個(gè)同心圓后，每個(gè)手勢(shì)圖像圓環(huán)區(qū)域中目標(biāo)手勢(shì)像素點(diǎn)的相對(duì)密度；第三個(gè)特征向量dr_i是第一個(gè)向量中r_i+1與r_i一階數(shù)值差分的結(jié)果；第四個(gè)特征向量θ_i是在由手勢(shì)主方向建立的極坐標(biāo)下，由手勢(shì)重心點(diǎn)指向每根手指的重心點(diǎn)所形成的方向向量同手勢(shì)主方向的夾角；

提取SCDDF特征的具體步驟如下：

步驟Ⅰ：計(jì)算目標(biāo)圖像f(x,y)的重心點(diǎn)

這里，A代表手勢(shì)圖像中的手勢(shì)的像素區(qū)域；

步驟Ⅱ：求出手勢(shì)圖像中離手勢(shì)重心最遠(yuǎn)的手勢(shì)像素點(diǎn)M，計(jì)算向量即為手勢(shì)主方向；

步驟Ⅲ：在圖像f(x,y)中，計(jì)算形心到目標(biāo)像素點(diǎn)最大距離D_max以及最小距離D_min；

步驟Ⅳ:對(duì)于圖像f(x,y)，以形心為圓心，計(jì)算以D_max為半徑的目標(biāo)區(qū)域最大外接圓和以D_min為半徑的目標(biāo)區(qū)域最小外接圓； 在最大外接圓和最小外接圓組成的區(qū)域內(nèi)，使用等距離區(qū)域劃分法將最大外接圓和最小外接圓之間圖像區(qū)域劃分為M個(gè)子區(qū)域(M0)；

步驟Ⅴ:對(duì)各子圖像區(qū)域分別進(jìn)行統(tǒng)計(jì)，計(jì)算每個(gè)子圖像區(qū)域內(nèi)目標(biāo)像素的總數(shù)S_i(i＝1,L,M),并找出S_i的最大值；

計(jì)算特征向量R和D：

r_i＝S_i/S_max(i＝1,L,M) (4.5)

可得到特征向量R和D為：

R＝(r₁,...r₁₀,ar₁₁,...ar₁₅,br₁₆,...br₂₀) (4.7)

D＝(dr₁,...dr₁₀,cdr₁₁,...cdr₂₀) (4.8)

步驟Ⅵ：以手勢(shì)重心點(diǎn)O為原點(diǎn)，以手勢(shì)主方向?yàn)闃O坐標(biāo)的起始方向，建立極坐標(biāo)，遍歷第n和第n+2個(gè)圓環(huán)同手勢(shì)目標(biāo)像素點(diǎn)的交點(diǎn)，每一根手指或者手腕同圓環(huán)都可形成一條交線，求每一條交線的重心點(diǎn)，得到一系列的重心點(diǎn)P(p₁,...,p_n)，求這些重心點(diǎn)與手勢(shì)重心點(diǎn)O的向量則最后一個(gè)特征向量θ_i為：

最終得到提取的特征信息：