[發(fā)明專利]一種基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011235610.1
• 申請(qǐng)日: 2020-11-06
• 公開（公告）號(hào): CN112329646A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 王世剛;高陽;韋健;趙云秀;趙巖
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06T7/66;G06T7/90;G06F3/01
• 代理公司: 長春吉大專利代理有限責(zé)任公司 22201
• 代理人: 邵銘康;朱世林

1.一種基于手的質(zhì)心坐標(biāo)的手勢(shì)運(yùn)動(dòng)方向識(shí)別方法，其特征在于包括下列步驟：

1.1利用Matlab編程軟件與攝像頭來獲取手部圖像，具體步驟如下：

1.1.1讀取攝像頭：使用Matlab的基本函數(shù)a＝imaqhwinfo和vid＝videoinput讀取攝像機(jī)的基本屬性，并捕獲視頻幀，得到能實(shí)時(shí)處理的視頻幀；

1.1.2設(shè)定重復(fù)觸發(fā)以及幀的抓取時(shí)間間隔，進(jìn)行視頻采集，設(shè)置一個(gè)循環(huán)，在采集100幀后停止；

1.2對(duì)步驟1.1.2得到的視頻圖像進(jìn)行預(yù)處理，具體步驟如下：

1.2.1取當(dāng)前的一幀彩色圖像，分別將RGB空間轉(zhuǎn)換為HSV空間和YCrCb空間，然后讓皮膚像素在YCrCb空間中指向1，使用簡單的YCrCb膚色模型對(duì)原始圖像進(jìn)行膚色分割，初步得到粗糙的基本膚色區(qū)域；

將基于彩色空間的RGB模型轉(zhuǎn)換為YCbCr模型，公式如下：

1.2.2分割黃色皮膚區(qū)域，去除小的連接像素；顯示出皮膚區(qū)域，標(biāo)記連接區(qū)域，分割黃色皮膚區(qū)域的閾值的設(shè)定如下：

1.3手的質(zhì)心坐標(biāo)計(jì)算，包括下列步驟：

1.3.1去除小的連接像素，顯示皮膚區(qū)域，標(biāo)記連接區(qū)域，然后進(jìn)行二值化處理，得到手的二值化圖像，獲得只有0和1組成的二維矩陣；

1.3.2利用積分投影法對(duì)二值圖像分別進(jìn)行水平方向和垂直方向的積分投影，水平方向的積分投影記錄的是二值圖像中每行的非零像素值的個(gè)數(shù)，垂直方向的積分投影記錄的是二值圖像中每列的非零像素值的個(gè)數(shù)，X方向投影得到Y(jié)方向上的移動(dòng)范圍：n₁-n₂，Y方向投影得到X方向上的移動(dòng)范圍:m₁-m₂；得到水平和垂直方向的積分投影直方圖后，就能判斷出目標(biāo)物體在整幅圖像中的位置；

1.3.3手的質(zhì)心的坐標(biāo)計(jì)算：

用f(x,y)表示點(diǎn)(x,y)的像素值，因?yàn)榇藭r(shí)的圖像為二值圖像，也就是0和1組成的二維矩陣，那么圖像的像素值f(x,y)為(x,y)處的質(zhì)量；[m₁-m₂,n₁-n₂]大小圖像中的所有像素值之和用m表示，如下列公式所示：

用下列公式計(jì)算，能得到手的質(zhì)心位置處的坐標(biāo)

1.4識(shí)別手的運(yùn)動(dòng)方向，包括下列步驟：

1.4.1坐標(biāo)作差：在手勢(shì)運(yùn)動(dòng)時(shí)取兩幀圖像，得到兩個(gè)手的質(zhì)心坐標(biāo)，由下列公式進(jìn)行作差計(jì)算：

分析得到的數(shù)值：

當(dāng)x_t≥0時(shí)，手勢(shì)運(yùn)動(dòng)的方向只能是上、左、右；若此時(shí)y_t≥0時(shí)，手勢(shì)的運(yùn)動(dòng)方向只能是上、右；

1.4.2方向角的分析：

方向角的計(jì)算公式為：

在y_t≥0的情況下，將運(yùn)動(dòng)角度劃分為“上、右”兩個(gè)方向，其中為上，為右，以此能分析剩下的三種情況，將運(yùn)動(dòng)方向劃分為“上、下、左、右”，編碼分別用“up、down、right、left”表示。