[發(fā)明專利]人機(jī)交互手勢識別方法、裝置及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710831614.8
• 申請日: 2017-09-13
• 公開（公告）號: CN107578023A
• 公開（公告）日: 2018-01-12
• 發(fā)明（設(shè)計）人: 陳增照;何秀玲;吳珂;劉婷婷;馮曉超;方靜;賀冰華;李高陽;靳青曉;高倩;宣孝義
• 申請（專利權(quán)）人: 華中師范大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/11;G06T7/136;G06F3/01
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11371
• 代理人: 蘇勝

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，尤其是涉及一種人機(jī)交互手勢識別方法、裝置及系統(tǒng)。

背景技術(shù)

隨著人工智能技術(shù)的迅速發(fā)展，以及“互聯(lián)網(wǎng)+”時代的驅(qū)動，信息技術(shù)與各個領(lǐng)域的結(jié)合已經(jīng)成為未來發(fā)展的必然趨勢，通過這種結(jié)合，將會給人們的生活和工作帶來極大的便利。

現(xiàn)階段，在教育或者培訓(xùn)領(lǐng)域，相比于過去的傳統(tǒng)教學(xué)及培訓(xùn)方式，液晶觸控一體機(jī)的普及在觸摸式教學(xué)或者培訓(xùn)方面表現(xiàn)出很大的優(yōu)勢，給教師或者培訓(xùn)講師提供了一個清晰可觸摸的演示方式，但教師或者講師被鼠標(biāo)、鍵盤、觸摸屏限制在有限區(qū)域內(nèi)，和學(xué)生或者被培訓(xùn)人員之間互動減少，給教學(xué)或者培訓(xùn)造成一定困擾。

目前的手勢識別技術(shù)研究中針對教學(xué)或者培訓(xùn)活動所做的手勢識別方法不夠完善，其對于靜態(tài)手勢和動態(tài)手勢的識別效應(yīng)不便于在教學(xué)或培訓(xùn)中使用，而且將靜態(tài)手勢和動態(tài)手勢的識別分開進(jìn)行，在教學(xué)或者培訓(xùn)中的實際應(yīng)用缺少說服力。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種人機(jī)交互手勢識別方法、裝置及系統(tǒng)，能夠?qū)處熁蛘吲嘤?xùn)師在講說的過程中的靜態(tài)手勢和動態(tài)手勢進(jìn)行同時準(zhǔn)確識別及區(qū)分，共同應(yīng)用到課堂教學(xué)或培訓(xùn)中，以最方便的形式開展教學(xué)或培訓(xùn)活動，減少教師或培訓(xùn)講師的操作冗余，促進(jìn)教學(xué)或培訓(xùn)的趣味性。

第一方面，本發(fā)明實施例提供了一種人機(jī)交互手勢識別方法，包括：

接收攝像頭所采集的手勢圖像；

對手勢圖像進(jìn)行分割，確定手勢區(qū)域；

在手勢區(qū)域中進(jìn)行特征提取，得到手勢區(qū)域的特征信息；

根據(jù)特征信息以及預(yù)定義手勢信息，確定當(dāng)前手勢的手勢類型；手勢類型包括：靜態(tài)手勢類型、動態(tài)手勢類型。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第一種可能的實施方式，其中，對手勢圖像進(jìn)行分割，確定手勢區(qū)域，具體包括：

將手勢圖像轉(zhuǎn)化為灰度直方圖；

根據(jù)灰度直方圖，確定手勢區(qū)域和背景區(qū)域的分割閾值；

根據(jù)分割閾值，對圖像進(jìn)行二值化處理，確定手勢區(qū)域。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第二種可能的實施方式，其中，在手勢區(qū)域中進(jìn)行特征提取，得到手勢區(qū)域的特征信息，具體包括：

提取手勢區(qū)域中多個關(guān)節(jié)點和五指尖的坐標(biāo)值；

根據(jù)坐標(biāo)值，計算五指尖間的歐式距離、關(guān)節(jié)點間的歐式距離、同一關(guān)節(jié)點或指尖的運動位移、運動速度、加速度或動態(tài)變化率；

將坐標(biāo)值、五指尖間的歐式距離、關(guān)節(jié)點間的歐式距離、同一關(guān)節(jié)點或指尖的運動位移、運動速度、加速度或動態(tài)變化率，作為手勢區(qū)域的特征信息。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第三種可能的實施方式，其中，預(yù)定義手勢信息包括：手勢的開始動作信息、結(jié)束動作信息以及動作完成時間信息；手勢包括：動態(tài)手勢和靜態(tài)手勢；

通過以下規(guī)則限定預(yù)定義手勢信息：

動態(tài)手勢均以五指張開為開始動作和結(jié)束動作；

靜態(tài)手勢以五指張開為開始動作，以目標(biāo)動作為結(jié)束動作；目標(biāo)動作為非五指張開的預(yù)定義動作。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第四種可能的實施方式，其中，根據(jù)特征信息以及預(yù)定義手勢信息，確定當(dāng)前手勢的手勢類型，具體包括：

根據(jù)特征信息，判斷手勢的結(jié)束動作是否為五指張開；

如果是，則確定手勢為動態(tài)手勢，并根據(jù)手勢的特征信息以及預(yù)定義手勢信息，使用HMM分類器對手勢進(jìn)行分類，確定手勢的動態(tài)手勢類型；

如果否，則確定手勢為靜態(tài)手勢，并根據(jù)手勢的特征信息以及預(yù)定義手勢信息，使用SVM分類器對手勢進(jìn)行分類，確定手勢的靜態(tài)手勢類型。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第五種可能的實施方式，其中，在根據(jù)特征信息以及預(yù)定義手勢信息，確定當(dāng)前手勢的手勢類型之前，還包括：

根據(jù)特征信息，判斷手勢是否為待識別手勢；

如果否，則不進(jìn)行手勢識別；

如果是，則進(jìn)行手勢識別。

結(jié)合第一方面，本發(fā)明實施例提供了第一方面的第六種可能的實施方式，其中，判斷手勢是否為待識別手勢，具體包括：

根據(jù)特征信息，判斷手勢的開始動作是否為五指張開且保持時間達(dá)到第一預(yù)設(shè)時間閾值；

如果否，則判定手勢為無效手勢；

如果是，判斷手勢從開始動作到結(jié)束動作的時間是否超過第二預(yù)設(shè)時間閾值；

如果是，則判定手勢為無效手勢；

如果否，則判定手勢為待識別手勢。