[發(fā)明專利]一種基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011235610.1
• 申請(qǐng)日: 2020-11-06
• 公開（公告）號(hào): CN112329646A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 王世剛;高陽;韋健;趙云秀;趙巖
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/66;G06T7/90;G06F3/01
• 代理公司: 長春吉大專利代理有限責(zé)任公司 22201
• 代理人: 邵銘康;朱世林

一種基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法屬動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域，本發(fā)明通過Matlab編程軟件與攝像頭來獲取手部圖像、視頻幀并實(shí)時(shí)處理，對(duì)得到的視頻圖像進(jìn)行預(yù)處理，將基于彩色空間的RGB模型轉(zhuǎn)換為YCbCr模型，再利用積分投影法對(duì)二值圖像分別進(jìn)行水平和垂直方向的積分投影，得到水平和垂直方向的積分投影直方圖后，就可判斷出目標(biāo)物體在整幅圖像中的位置，方便求得手部的質(zhì)心坐標(biāo)，通過得到的一段時(shí)間間隔內(nèi)的兩幀圖像中手的不同坐標(biāo)，進(jìn)行計(jì)算差值與方向角的計(jì)算，完成對(duì)手的運(yùn)動(dòng)方向的判別。本發(fā)明增加了對(duì)手勢(shì)運(yùn)動(dòng)范圍的判定，在對(duì)質(zhì)點(diǎn)的求取以及方位角的判斷上更加直觀精確，能更加快速準(zhǔn)確地識(shí)別判斷出手勢(shì)的運(yùn)動(dòng)方向。

技術(shù)領(lǐng)域

本發(fā)明屬手勢(shì)識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法。

背景技術(shù)

近幾年來，隨著科學(xué)技術(shù)日新月益的飛速發(fā)展，一些面向計(jì)算機(jī)的交互技術(shù)已經(jīng)逐漸不能滿足人們的需求，交互技術(shù)已經(jīng)慢慢從面向計(jì)算機(jī)向面向自然人轉(zhuǎn)變，也就是人機(jī)交互的應(yīng)用在人們的日常生活中變得越來越普遍。以前的人機(jī)交互是以機(jī)器為主，而現(xiàn)在的人機(jī)交互主要是以人為中心，在以往的人機(jī)交互技術(shù)中，鍵盤和鼠標(biāo)占據(jù)了大部分主導(dǎo)地位，然而這種傳統(tǒng)的交互方式已經(jīng)不再利于人機(jī)交互技術(shù)的發(fā)展與推廣。而手勢(shì)作為一種自然、方便、實(shí)用的方式，受到了很多人機(jī)交互研究者的喜愛以及大眾的歡迎。因此，以人為中心的手勢(shì)識(shí)別技術(shù)逐漸得到人們的關(guān)注與青睞。

對(duì)于手勢(shì)交互來說，就是用簡(jiǎn)單的手的姿勢(shì)形狀或者運(yùn)動(dòng)軌跡來向機(jī)器表達(dá)自己的想法，并不需要直接觸碰它。手勢(shì)交互對(duì)于人機(jī)智能交互是十分重要的，特點(diǎn)鮮明，自然方便，并且它的應(yīng)用領(lǐng)域非常廣闊，主要包括：聾啞人手語識(shí)別、機(jī)器人控制、虛擬現(xiàn)實(shí)、智能家居、生活質(zhì)量提高、智能汽車、工業(yè)4.0、智能制造等。

現(xiàn)在的手勢(shì)識(shí)別主要分成兩類：一類是靜態(tài)手勢(shì)識(shí)別，另一類是動(dòng)態(tài)手勢(shì)識(shí)別，其中，靜態(tài)手勢(shì)識(shí)別主要是根據(jù)手的不同姿勢(shì)與形狀來代表不同的含義，不用考慮手的運(yùn)動(dòng)軌跡以及特征，比較簡(jiǎn)單，所以其表達(dá)的含義也比較簡(jiǎn)單，不能夠做到充分表示出人們的想法。而動(dòng)態(tài)手勢(shì)識(shí)別不僅需要對(duì)手部的區(qū)域形狀進(jìn)行分析，還需要對(duì)整個(gè)手部的運(yùn)動(dòng)軌跡信息進(jìn)行分析，所以更加像是結(jié)合了靜態(tài)的手部區(qū)域形狀與動(dòng)態(tài)的運(yùn)動(dòng)軌跡信息，可以很全面的表達(dá)出其豐富的語義內(nèi)容，可以更好的滿足人機(jī)交互的需求，所以有更加廣闊的應(yīng)用前景。

手勢(shì)識(shí)別可以使用攝像頭采集手勢(shì)數(shù)據(jù)，進(jìn)行分析計(jì)算識(shí)別相應(yīng)的手勢(shì)。也可以是基于慣性傳感器的手勢(shì)識(shí)別，這種方法是通過加速度計(jì)和角速度計(jì)獲取目標(biāo)物的加速度值和角速度值，再結(jié)合一系列算法，根據(jù)計(jì)算出的信息識(shí)別相應(yīng)的手勢(shì)。手勢(shì)識(shí)別的難點(diǎn)主要在于會(huì)有大量的冗余信息，給手勢(shì)的準(zhǔn)確分析和計(jì)算造成很大的困難。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種能快速準(zhǔn)確識(shí)別判斷手勢(shì)運(yùn)動(dòng)方向的基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法。

本發(fā)明的基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法，包括下列步驟：

1.1利用Matlab編程軟件與攝像頭來獲取手部圖像，具體步驟如下：

1.1.1讀取攝像頭：使用Matlab的基本函數(shù)a＝imaqhwinfo和vid＝videoinput讀取攝像機(jī)的基本屬性，并捕獲視頻幀，得到能實(shí)時(shí)處理的視頻幀；

1.1.2設(shè)定重復(fù)觸發(fā)以及幀的抓取時(shí)間間隔，進(jìn)行視頻采集，設(shè)置一個(gè)循環(huán)，在采集100幀后停止；

1.2對(duì)步驟1.1.2得到的視頻圖像進(jìn)行預(yù)處理，具體步驟如下：

1.2.1取當(dāng)前的一幀彩色圖像，分別將RGB空間轉(zhuǎn)換為HSV空間和YCrCb空間，然后讓皮膚像素在YCrCb空間中指向1，使用簡(jiǎn)單的YCrCb膚色模型對(duì)原始圖像進(jìn)行膚色分割，初步得到粗糙的基本膚色區(qū)域；

將基于彩色空間的RGB模型轉(zhuǎn)換為YCbCr模型，公式如下：