[發(fā)明專利]基于虛擬觸摸屏的非穿戴指勢人機(jī)交互方法

有效

• 申請?zhí)枺?/td>: 201410196648.0
• 申請日: 2014-05-12
• 公開（公告）號: CN103995586B
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計）人: 管業(yè)鵬;潘靜
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/041;G06F3/0488
• 代理公司: 上海上大專利事務(wù)所(普通合伙)31205
• 代理人: 何文欣

1.一種基于虛擬觸摸屏的非穿戴指勢人機(jī)交互方法，其特征在于具體步驟如下：

1)啟動非穿戴指勢人機(jī)交互系統(tǒng)，采集視頻圖像；

2)獲取用戶三維信息：標(biāo)定Kinect，并由Kinect獲取用戶三維信息；

3)用戶指勢手部區(qū)域分割：根據(jù)步驟2)所提取的用戶三維信息，獲取用戶手部深度方向的Z坐標(biāo)，并將Z坐標(biāo)值小的手部區(qū)域確定為指勢手部區(qū)域；

4)指勢手指尖提取：根據(jù)步驟3)所確定的用戶指勢手部區(qū)域，確定對應(yīng)的指勢手部區(qū)域外接矩形框；根據(jù)指勢手指的Z坐標(biāo)值小的特點(diǎn)，將具有最小Z坐標(biāo)值且手指與外接矩形框的邊緣相交點(diǎn)確定為指勢手的手指尖點(diǎn)；

5)手指目標(biāo)的行為確定；

6)虛擬觸摸屏的構(gòu)建,構(gòu)建的具體操作步驟如下：

(6-1)手指屏的模塊劃分：將手指屏分別在水平X方向劃分為m個模塊和垂直Y方向劃分為n個模塊，并由此分別確定手指屏在水平X方向的各個分界點(diǎn)坐標(biāo)為X₁,......,X_n+1，以及在垂直Y方向的各個分界點(diǎn)坐標(biāo)為：Y₁,......,Y_n+1；

(6-2)虛擬觸摸屏構(gòu)建：根據(jù)步驟2)所獲取的用戶三維信息，確定人臉中心點(diǎn)的三維坐標(biāo)X_head，Y_head，Z_head；同時，根據(jù)步驟4)所確定的手指尖，獲取手指尖在深度Z方向的坐標(biāo)值Z_fingertip，并根據(jù)步驟(6-1)所劃分的手指屏的各個分界點(diǎn)坐標(biāo)X_i,i＝1,2,...,m+1，Y_j,j＝1,2,...,n+1，按下式計算手指屏各模塊分界點(diǎn)在虛擬觸摸屏上的對應(yīng)點(diǎn)坐標(biāo)X′_i，Y′_j,構(gòu)建用戶手指可觸及的虛擬觸摸屏：

Xi′=(Xhead-Xi)×(Zfingertip-Zhead)Zhead+XheadYj′=(Yhead-Yj)×(Zfingertip-Zhead)Zhead+Yhead;]]>

7)手指目標(biāo)的確定：根據(jù)手指尖在步驟6)所構(gòu)建的虛擬觸摸屏的位置計算，確定手指的目標(biāo)。

2.根據(jù)權(quán)利要求1所述的基于虛擬觸摸屏的非穿戴指勢人機(jī)交互方法，其特征在于：所述步驟5)手指目標(biāo)的行為判定的具體操作步驟如下：

(5-1)手指尖在相鄰時刻的位移量計算：根據(jù)手指尖在t時刻和t-1時刻分別在水平X方向的三維坐標(biāo)X_t、X_t-1，垂直Y方向的三維坐標(biāo)Y_t、Y_t-1和深度Z方向的三維坐標(biāo)Z_t、Z_t-1，計算手指尖在水平X方向、垂直Y方向和深度Z方向的位移量D_x、D_y、D_z:D_x＝X_t-X_t-1，D_y＝Y(jié)_t-Y_t-1，D_z＝Z_t-Z_t-1，并由此確定手指尖在相鄰時刻的位移量D:

(5-2)手指目標(biāo)的行為確定：根據(jù)手指目標(biāo)時，手指尖在相鄰時刻的位移量D值小的特點(diǎn)，將滿足手指尖位移量D在連續(xù)設(shè)定p幀內(nèi)小于給定閾值T的行為判定為手指目標(biāo)行為。