[發(fā)明專利]一種用于娃娃機的手勢控制方法、存儲介質和娃娃機

有效

• 申請?zhí)枺?/td>: 201910432261.3
• 申請日: 2019-05-23
• 公開（公告）號: CN110164060B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設計）人: 杜國銘;于美國;馮大志
• 申請（專利權）人: 哈爾濱拓博科技有限公司
• 主分類號: G07F17/32
• 分類號: G07F17/32;A63F9/30;G06F3/01;G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出一種用于娃娃機的手勢控制方法、存儲介質和娃娃機，所述娃娃機包括娃娃機本體，存儲器和實現(xiàn)其程序的處理器，處理器通過手勢控制模塊實現(xiàn)操作。娃娃機本體包括：機架、機械臂、電機及驅動結構。手勢控制模塊包括：主控模塊、通信模塊、手勢捕獲模塊三部分。模塊整體基于嵌入式平臺搭建，采用普通單目攝像頭進行圖像采集，通過串口線與娃娃機通信。其中，手勢捕獲模塊通過單目攝像頭采集手部圖像，并識別手勢動作，主控模塊將相應手勢轉化控制指令，再經由通信模塊將指令發(fā)送至娃娃機。本發(fā)明控制方式新穎，操作體驗良好，對背景環(huán)境適應性好，同時設備成本低，還可基于傳統(tǒng)市售娃娃機進行改造，具有良好的市場前景。

技術領域

本發(fā)明屬于手勢控制技術領域，特別是涉及一種用于娃娃機的手勢控制方法、存儲介質和娃娃機。

背景技術

傳統(tǒng)控制模式的娃娃機：現(xiàn)如今市場上使用的娃娃機均使用手柄控制機械手進行二軸運動。隨著體感技術的發(fā)展，現(xiàn)有的娃娃機操作模式單一，操作體驗欠佳。

新型模式控制的娃娃機：手勢識別技術在近些年發(fā)展迅速，從微軟的Kinect，到后來的LeapMotion，雖然采用的是不同的技術，但目的都是為了給用戶提供良好的操作體驗。就目前的技術而言，大多采用深度攝像頭技術，比如Kinect采用的是結構光的原理，通過設備發(fā)出紅外光斑，對三維空間進行標記，進而通過攝像頭采集圖案與現(xiàn)有圖案進行匹配，得到深度圖像。而LeapMotion采用的是雙目匹配成像的原理得到三維深度。前者對設備要求高；后者對技術要求高，要達到一定的用戶操作體驗，必須要很高的處理速度，這不僅增加了算法的復雜程度，也對硬件資源有較高的占用?，F(xiàn)有的手勢控制娃娃機的手勢控制模塊都是基于Kinect或者LeapMotion進行開發(fā)，最大缺點是成本太高，單套手勢控制模塊占據了娃娃機50％的成本。

現(xiàn)有手勢控制的娃娃機手勢捕獲模塊大多采用深度攝像頭，如Kinect、RealSense或LeapMotion等，成本較高。此外部分單目識別算法可用到娃娃機上，但效果欠佳。部分深度攝像頭需要紅外投射光斑，當識別目標區(qū)域受到較強陽光照射時，識別效果下降，準確率降低；深度攝像頭硬件體積大于單目攝像頭；算法復雜，硬件要求較高；功耗高于單目攝像頭；售價昂貴；部分單目手勢識別方法，需要用到多個時刻的手掌位置進行分析(攝像機多幀比較)，此方法如果出現(xiàn)攝像頭抖動情況，算法準確率降低，當娃娃機機械爪在運動時，攝像頭會有抖動，所以此方法不適合娃娃機使用；部分單目手勢識別方法，采用光流特征算法識別物體運動，硬件配置要求較高。

發(fā)明內容

本發(fā)明目的是為了解決現(xiàn)有的技術問題，提出了一種用于娃娃機的手勢控制方法、存儲介質和娃娃機。本發(fā)明基于單目攝像頭采集圖像，進行手勢特征提取來識別手勢移動與抓取兩種動作，實現(xiàn)控制娃娃機機械爪進行二軸運動，成本遠低于現(xiàn)有的手勢控制娃娃機。

本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明提出一種用于娃娃機的手勢控制方法，手勢捕獲模塊利用單目攝像頭采集圖像，對圖像進行分析計算出當前視場中是否有手勢和手勢動作，并判斷手勢動作類型，將獲取到的手勢信息傳遞給主控模塊；所述主控模塊將相應手勢信息轉化為控制指令；所述控制指令經由通信模塊發(fā)送至娃娃機；

所述手勢捕獲模塊具體操作步驟為：

步驟a：讀取模板數據，提取包括手勢模板圖片的收集，特征點提取和全部特征點的最大最小位置；

步驟b：量化梯度，捕捉到的圖像，計算圖像梯度，將梯度量化到T個方向，對每個像素的T*T大小范圍內的梯度方向使用同一個梯度方向表示，利用方向相似度對照表，對每個像素點的方向計算統(tǒng)計其每個方向的相似度；

步驟c：與模板進行匹配，將步驟b得到的表示一幀圖像的多個方向圖像數組與模板進行匹配，以T為閾值，計算一幀圖像中共有幾個T*T區(qū)域，再以T*T作為匹配模板，在圖像中進行移動，將每個對應位置像素點的方向與匹配模板中的該位置的方向進行比較，得到相似度值，存儲超過判定閾值SCORE的點的坐標位置、相似度、手勢類型以及點匹配到的模板；