[發(fā)明專利]一種基于Leap Motion的手指無(wú)接觸繪圖方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910232829.7
• 申請(qǐng)日: 2019-03-26
• 公開(kāi)（公告）號(hào): CN109933206B
• 公開(kāi)（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 徐琨;呂永帥;梁佳豪;王佩瑤;石旭
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)安大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0484;G06V40/20;G06V10/764;G06K9/62
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

1.一種基于Leap Motion的手指無(wú)接觸繪圖方法，其特征在于，采用SVM算法進(jìn)行靜態(tài)手勢(shì)識(shí)別，采用靜態(tài)手勢(shì)和運(yùn)動(dòng)追蹤數(shù)據(jù)約束性條件相結(jié)合的方法識(shí)別動(dòng)態(tài)手勢(shì)，根據(jù)識(shí)別的靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)判斷用戶手勢(shì)動(dòng)作，應(yīng)用QT信號(hào)槽機(jī)制實(shí)現(xiàn)識(shí)別后的手勢(shì)數(shù)據(jù)與繪畫系統(tǒng)之間的通信，不同的手勢(shì)動(dòng)作對(duì)應(yīng)不同事件，響應(yīng)不同的處理，再將運(yùn)動(dòng)追蹤數(shù)據(jù)中食指指尖在傳感器觀察坐標(biāo)系下的位置映射為屏幕坐標(biāo)系下畫筆的位置，實(shí)現(xiàn)圖形和線條的繪制，完成手指無(wú)接觸繪圖；

選取由手指到掌心的距離和手指方向與手掌方向的夾角作為特征向量，通過(guò)LeapMotion API獲得指尖和掌心的坐標(biāo)，得到指尖到掌心的距離；然后根據(jù)指尖在手掌平面上的投影的坐標(biāo)計(jì)算與手指方向向量的夾角；對(duì)距離值進(jìn)行標(biāo)準(zhǔn)化處理，構(gòu)造特征向量集；給不同手勢(shì)對(duì)應(yīng)的特征向量加上不同標(biāo)簽，將特征向量集均勻分為訓(xùn)練集和測(cè)試集，將訓(xùn)練集轉(zhuǎn)化為L(zhǎng)IBSVM指定的格式，調(diào)用SVMTRAIN進(jìn)行模型的訓(xùn)練，得到模型文件model.txt；應(yīng)用模調(diào)用SVMPREDICT函數(shù)對(duì)測(cè)試集數(shù)據(jù)進(jìn)行預(yù)測(cè)，返回預(yù)測(cè)結(jié)果對(duì)應(yīng)的標(biāo)簽，與測(cè)試集原來(lái)的數(shù)據(jù)進(jìn)行比較，得出預(yù)測(cè)準(zhǔn)確度；最后通過(guò)不斷調(diào)整LIBSVM參數(shù)C和gamma的值，并重復(fù)模型訓(xùn)練和預(yù)測(cè)步驟，篩選出準(zhǔn)確度最高的C和gamma的搭配，得到最優(yōu)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，以手指的點(diǎn)擊動(dòng)作作為動(dòng)態(tài)手勢(shì)，應(yīng)用SVM算法對(duì)伸出手指的動(dòng)作進(jìn)行識(shí)別，然后調(diào)用Leap Motion API得到手指指尖的速度，當(dāng)指尖向下按的速度大于閾值的時(shí)候觸發(fā)按下按鈕事件；當(dāng)指尖向上釋放的速度達(dá)到某個(gè)閾值時(shí)觸發(fā)釋放按鈕事件；手指在短時(shí)間內(nèi)按下和彈起判定為單擊事件；手勢(shì)識(shí)別完成后，按照結(jié)果的不同觸發(fā)不同的事件做出繪畫響應(yīng)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，指尖到掌心的距離F_i計(jì)算如下：

F_i＝||P_i-C||

其中，i＝1,2,3,4,5，P_i為指尖坐標(biāo)，C為掌心坐標(biāo)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，夾角A_i計(jì)算如下：

其中，P_i'為指尖P_i在手掌平面上的投影，i＝1,2,3,4,5，D為手指方向向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，特征向量集S計(jì)算如下：

S＝(F₁,F₂,F₃,F₄,F₅,A₁,A₂,A₃,A₄,A₅)

其中，F(xiàn)_i為指尖到掌心的距離，i＝1,2,3,4,5。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，應(yīng)用QT信號(hào)槽機(jī)制進(jìn)行通信的步驟如下：

S201、實(shí)現(xiàn)并重寫leapMotion的監(jiān)聽(tīng)者類，并使該類繼承QOBJECT類，使其能夠使用信號(hào)槽機(jī)制；

S202、在SampleListener類中定義信號(hào)函數(shù)getGestureData，將參數(shù)設(shè)置為手當(dāng)前的坐標(biāo)值和當(dāng)前手勢(shì)對(duì)應(yīng)的標(biāo)號(hào)整型值；

S203、定義參數(shù)與信號(hào)函數(shù)一致的槽函數(shù)，并將槽函數(shù)與信號(hào)函數(shù)進(jìn)行連接，槽函數(shù)對(duì)信號(hào)函數(shù)發(fā)射的數(shù)據(jù)進(jìn)行處理，依據(jù)坐標(biāo)值和相應(yīng)手勢(shì)含義實(shí)現(xiàn)繪畫工具的選擇、繪畫、空操作等功能，實(shí)現(xiàn)手指無(wú)接觸繪畫。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，步驟S203中，依據(jù)手指坐標(biāo)當(dāng)前所屬的繪畫區(qū)域、工具選擇區(qū)域、具體某一工具的包圍矩形區(qū)域及手勢(shì)含義的邏輯運(yùn)算判斷實(shí)現(xiàn)對(duì)繪畫的控制，手勢(shì)含義包括模擬鼠標(biāo)單擊的點(diǎn)擊手勢(shì)，模擬鼠標(biāo)彈起的彈起手勢(shì)以及模擬鼠標(biāo)移動(dòng)的伸出食指手勢(shì))。