[發(fā)明專利]一種基于攝像頭視覺信息的手勢識別方法

有效

• 申請?zhí)枺?/td>: 201810178503.6
• 申請日: 2018-03-05
• 公開（公告）號: CN108509853B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 崔夢天;郭曌陽;談文蓉
• 申請（專利權(quán)）人: 西南民族大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 胡川

本發(fā)明公開了一種基于攝像頭視覺信息的手勢識別方法。該手勢識別方法通過將大的視頻幀畫面劃分為若干小的子畫面，然后對每個子畫面利用皮膚顏色特征函數(shù)進行膚色像素點的判斷，對于膚色像素點個數(shù)與全部像素點個數(shù)的比值小于或等于預(yù)定閾值的子畫面，將其所有像素點的顏色修改為某一非膚色，使整個視頻幀畫面只存在膚色與某一非膚色，在對視頻幀畫面進行二值化處理后的二值化圖像中，利用手指之間的空隙這一特征進行手指個數(shù)的識別計算，從而能夠以較低成本達到手勢的快速、準確識別，具有識別效率高、準確性高、實時性好等特點。

技術(shù)領(lǐng)域

本發(fā)明涉及人機交互技術(shù)領(lǐng)域，尤其是一種基于攝像頭視覺信息的手勢識別方法。

背景技術(shù)

人機交互中，由于手勢的可變性與個體的差異性，如何做到正確識別手勢一直是研究的熱點與難點。

目前，出現(xiàn)了一些比較有成效的研究，如王西穎等人，在基于HMM-FNN模型的復(fù)雜動態(tài)手勢識別中，對動態(tài)手勢序列和Z軸方向運動采用一堆連續(xù)型HMM建模，手勢的平面軌跡模型采用一維離散型HMM；徐成等人，在基于嵌入式系統(tǒng)實時交互的手勢識別方法中，通過手勢的輪廓外接多邊形，以及多邊形各邊對應(yīng)的谷底所組成的特征方程來區(qū)別手勢。這些方法計算量較大，而且出現(xiàn)手臂時識別效果欠佳，如基于HMM-FNN的手勢識別方法，模型較復(fù)雜，建立與訓(xùn)練工作量大。

某些研究通過增加外設(shè)的交互技術(shù)如Leap Motion、Kinect達到整體的識別與實時較好的目的，如晏浩等人，在基于Kinect的實時穩(wěn)定的三維多手指跟蹤算法中，定義關(guān)于4個指間的幾何特征，對手指部進行擬合，從而識別與檢測指尖位置；黃俊等人，在基于LeapMotion的手勢識別在虛擬交互中的研究中，通過指尖運動軌跡點，制成手勢模版，以此識別手勢。雖然這些基于Kinect或Leap motion的交互技術(shù)應(yīng)用在手勢識別中具有一定效果，但需要增加硬件外設(shè)，從而提高了識別成本。

發(fā)明內(nèi)容

本發(fā)明的發(fā)明目的在于：針對上述存在的問題，提供一種基于攝像頭視覺信息的手勢識別方法，能夠以較低成本達到手勢的快速、準確識別。

為解決上述技術(shù)問題，本發(fā)明采用的一個技術(shù)方案是：提供一種基于攝像頭視覺信息的手勢識別方法，所述手勢識別方法包括以下步驟；S1：通過攝像頭捕獲手勢的視頻幀畫面，并將所述視頻幀畫面劃分為若干子畫面，其中，所述視頻幀畫面符合預(yù)設(shè)的識別坐標系；S2：利用皮膚顏色特征函數(shù)判斷每一子畫面中的像素點是否為膚色像素點，并統(tǒng)計每個子畫面中膚色像素點的個數(shù)；S3：判斷每一子畫面中的膚色像素點個數(shù)與全部像素點個數(shù)的比值是否大于預(yù)定閾值；S4：如果當(dāng)前子畫面的比值小于或等于預(yù)定閾值，則將當(dāng)前子畫面的所有像素點的顏色修改為非膚色，如果當(dāng)前子畫面的比值大于預(yù)定閾值，則保持當(dāng)前子畫面的所有像素點的顏色不變；S5：將所述視頻幀畫面進行二值化處理，得到二值化圖像；S6：設(shè)置寬度為1、長度為所述二值化圖像的寬度的滑動窗口，將所述滑動窗口置于所述識別坐標系的起始位置處，并設(shè)置識別次數(shù)，其中，識別次數(shù)的初始值為0；S7：利用皮膚顏色特征函數(shù)對所述滑動窗口內(nèi)的像素點的像素值進行檢測，將非膚色像素點的像素值量化為0，將膚色像素點的像素值量化為1，得到檢測序列；S8：若所述檢測序列中沒有出現(xiàn)連續(xù)的1，則設(shè)定所述滑動窗口的滑動距離為1，若所述檢測序列中出現(xiàn)連續(xù)的1，則根據(jù)出現(xiàn)連續(xù)的1的次數(shù)以及1的個數(shù)計算得到平均指寬，并設(shè)定所述滑動窗口的滑動距離為平均指寬，同時累計識別次數(shù)；S9：判斷所述識別次數(shù)是否達到預(yù)定次數(shù)；S10：如果沒有達到所述預(yù)定次數(shù)，則按照設(shè)定的所述滑動距離沿所述滑動窗口的寬度方向移動所述滑動窗口，并重復(fù)步驟S7，如果達到所述預(yù)定次數(shù)，則結(jié)束識別，并輸出最后一次檢測時出現(xiàn)連續(xù)的1的次數(shù)。

優(yōu)選的，所述步驟S1具體包括：S101：通過攝像頭捕獲手勢的視頻流；S102：以預(yù)設(shè)抽取頻率抽取視頻流中的視頻幀畫面；S103：將所述視頻幀畫面平均劃分為若干子畫面，其中，子畫面的大小為x`*x`像素，所述視頻幀畫面的大小為Img_y*Img_x像素，Img_x表示所述視頻幀畫面的寬度，Img_y表示所述視頻幀畫面的長度。