[發(fā)明專利]一種手勢(shì)語(yǔ)義自動(dòng)分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710250527.3
• 申請(qǐng)日: 2017-04-17
• 公開（公告）號(hào): CN107145838A
• 公開（公告）日: 2017-09-08
• 發(fā)明（設(shè)計(jì)）人: 馮志全;欒敏
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京中索知識(shí)產(chǎn)權(quán)代理有限公司11640
• 代理人: 商金婷

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)手勢(shì)識(shí)別領(lǐng)域，具體涉及一種手勢(shì)語(yǔ)義自動(dòng)分類方法。

背景技術(shù)

在手勢(shì)交互中，人們往往會(huì)按照自己的操作習(xí)慣來(lái)進(jìn)行交互。因此，經(jīng)過(guò)觀察會(huì)發(fā)現(xiàn)對(duì)于相同的一種手勢(shì)會(huì)應(yīng)用于不同的交互語(yǔ)義中，即手勢(shì)具有語(yǔ)義多樣性。尋找手勢(shì)各語(yǔ)義的特征，計(jì)算機(jī)自動(dòng)進(jìn)行手勢(shì)語(yǔ)義的分類，進(jìn)而減少用戶的記憶負(fù)擔(dān)。現(xiàn)在手勢(shì)識(shí)別基于靜態(tài)手勢(shì)進(jìn)行語(yǔ)義分類，用戶必須做出一定的手勢(shì)動(dòng)作來(lái)識(shí)別語(yǔ)義，進(jìn)行分類。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種手勢(shì)語(yǔ)義自動(dòng)分類方法，自動(dòng)得出用戶意圖，從而減少記憶負(fù)擔(dān)。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種手勢(shì)語(yǔ)義自動(dòng)分類方法，包括：

S1：建立手勢(shì)語(yǔ)義庫(kù)中各語(yǔ)義的高斯模型和物體功能庫(kù)；

S2：從Kinect的攝像頭讀取當(dāng)前幀的圖像，開始獲取訓(xùn)練樣本的觀察變量{s,c}，并等概率初始化參數(shù)集合θ＝{μ1,σ₁,...,μN(yùn),σ_N}；其中s表示觀察樣本即手勢(shì)，c表示手勢(shì)語(yǔ)義類別集合，θ表示該次手勢(shì)運(yùn)動(dòng)的平均速度和速度方差；

S3：判斷攝像頭是否檢測(cè)到開始的手勢(shì)；若||X[i]-X[i-1]|>threshhold，則轉(zhuǎn)到S4；否則轉(zhuǎn)向S2；

S4：利用手勢(shì)分割方法得出手勢(shì)，記錄每5幀的位移和時(shí)間，求出速度V的均值μ和方差σ，進(jìn)行高斯統(tǒng)計(jì)模型擬合，同時(shí)利用加入各模型依次進(jìn)行判斷得到新的θ[i]'＝{μ₁',σ₁',...,μ_N',σ_N'}，若|θ’[i]-θ|<threshhold,即匹配模型i，則轉(zhuǎn)向S5；否則，轉(zhuǎn)向S6；

S5：進(jìn)行更新：θ＝θ’[i],判斷是否達(dá)到最大迭代次數(shù)或未收斂時(shí)，如果達(dá)到，轉(zhuǎn)到S7，如果未達(dá)到，則進(jìn)行EM迭代；

S6:將本次語(yǔ)義i刪除，即保持θ不變，進(jìn)行下一次的語(yǔ)義分類，轉(zhuǎn)向S4；

S7：得出手勢(shì)語(yǔ)義i，調(diào)用物體功能庫(kù)，表達(dá)用戶選擇物體的功能。

所述S3中所述開始的手勢(shì)是指手勢(shì)張開并保持不動(dòng)。

所述S4中進(jìn)行高斯統(tǒng)計(jì)模型擬合是這樣實(shí)現(xiàn)的：

將均值μ和方差σ代入高斯公式y(tǒng)＝(1/σ√2π)e^-(x-u)^2/2σ中，得出此次手勢(shì)運(yùn)動(dòng)的高斯公式。

所述S5中的EM迭代是這樣實(shí)現(xiàn)的：

(ⅰ)進(jìn)行E過(guò)程：計(jì)算隱變量的后驗(yàn)概率；

(ⅱ)進(jìn)行M過(guò)程：尋找最優(yōu)參數(shù)保證對(duì)數(shù)似然概率的最大值。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明將人手的自然運(yùn)動(dòng)規(guī)律考慮其中，使得操作者更自然，更友好的交互，因此減少了用戶的記憶負(fù)擔(dān)，同時(shí)一種手勢(shì)表示多種語(yǔ)義的情況下，手勢(shì)也是自然常用的，減少了用戶的操作負(fù)擔(dān)。本發(fā)明提出的方法是基于概率統(tǒng)計(jì)模型的,穩(wěn)定性有保證。

附圖說(shuō)明

圖1返回原始界面速度統(tǒng)計(jì)分布

圖2快速滑動(dòng)物體速度統(tǒng)計(jì)分布

圖3拖移物體速度統(tǒng)計(jì)分布

圖4本發(fā)明方法的步驟框圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述：

實(shí)驗(yàn)者為隨機(jī)抽取的各種專業(yè)的學(xué)生(190名實(shí)驗(yàn)者，100名男生，90名女生，來(lái)自計(jì)算機(jī)各專業(yè)和電子信息各專業(yè)的大一大二大三的學(xué)生，具有不同的生活經(jīng)驗(yàn))

實(shí)驗(yàn)交互平臺(tái)為：軟件環(huán)境為Microsoft Visual Studio 2008，OpenGL庫(kù)和MFC框架，硬件環(huán)境為Intel P 4 2.8GHz CPU,4GB RAM PC機(jī)，和微軟提供的Kinect.

實(shí)驗(yàn)場(chǎng)景:基于Kinect的三維幾何體交互場(chǎng)景.

實(shí)驗(yàn)操作：讓操作者在自由發(fā)揮的狀態(tài)下，進(jìn)行平移手勢(shì)的操作，完成三種語(yǔ)義功能。三種語(yǔ)義分別為拖移幾何體，快速滑動(dòng)幾何體使其消失，返回幾何體原始位置。

實(shí)驗(yàn)數(shù)據(jù)處理：記錄每個(gè)實(shí)驗(yàn)者的操作數(shù)據(jù)，并且將這些實(shí)驗(yàn)數(shù)據(jù)放入MATLAB中進(jìn)行分析，得出對(duì)三種語(yǔ)義建立高斯統(tǒng)計(jì)模型，如圖1、圖2、圖3所示。

實(shí)驗(yàn)結(jié)果分析：

對(duì)于平移手勢(shì)，實(shí)驗(yàn)選取了用戶常用的三種手勢(shì)語(yǔ)義：拖移物體，快速滑動(dòng)幾何體使其消失以及返回幾何體原始位置。

進(jìn)行高斯模型公式(1)擬合：

y＝(1/σ√2π)e^-(x-u)^2/2σ (1)