[發(fā)明專利]一種用于帶有步進(jìn)天車娃娃機(jī)的隨動方式手勢控制方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010315847.4
• 申請日: 2020-04-21
• 公開（公告）號: CN111589098A
• 公開（公告）日: 2020-08-28
• 發(fā)明（設(shè)計(jì)）人: 杜國銘;于美國;馮大志
• 申請（專利權(quán)）人: 哈爾濱拓博科技有限公司
• 主分類號: A63F9/30
• 分類號: A63F9/30;A63F13/213;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于帶有步進(jìn)天車娃娃機(jī)的隨動方式手勢控制方法，所述步進(jìn)天車能夠按照坐標(biāo)位置進(jìn)行移動，其特征在于：所述方法包括如下步驟：

步驟1、利用攝像頭采集用戶手勢操作圖像信息，通過CNN卷積神經(jīng)網(wǎng)絡(luò)模型對采集到的用戶手勢操作圖像信息進(jìn)行手勢識別，從而得到手勢坐標(biāo)；

步驟2、將手勢坐標(biāo)轉(zhuǎn)換成步進(jìn)天車空間坐標(biāo)，更新當(dāng)前手勢狀態(tài)；

步驟3、與娃娃機(jī)系統(tǒng)進(jìn)行通信，獲取娃娃機(jī)狀態(tài)以及通知娃娃機(jī)當(dāng)前手勢狀態(tài)，從而完成娃娃機(jī)的控制操作；

所述步驟2具體為：

步驟2.1：判斷手勢類型是否有效，有效則進(jìn)行步驟2.2，無效則執(zhí)行步驟2.4；

步驟2.2：判斷手勢坐標(biāo)是否落在圖像操作區(qū)，圖像4個(gè)邊緣向內(nèi)偏移一定距離后形成的矩形區(qū)域定義為圖像操作區(qū)，如果落在圖像操作區(qū)則執(zhí)行步驟2.3，否則執(zhí)行步驟2.4；

步驟2.3：將圖像手勢坐標(biāo)轉(zhuǎn)換成步進(jìn)天車空間坐標(biāo)：手勢中心定義為圖像手勢坐標(biāo)，計(jì)算手勢中心橫軸與縱軸所在圖像操作區(qū)的相對位置，從而得到手勢在圖像操作區(qū)內(nèi)的相對坐標(biāo)，即步進(jìn)天車空間坐標(biāo)；

步驟2.4：更新當(dāng)前手勢狀態(tài)；

步驟2.5：完成。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述有效的手勢類型包括手掌張開、手掌閉合和握拳手勢。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于：所述步驟1具體為：

步驟1.1：單目攝像頭采集圖像；

步驟1.2：CNN卷積神經(jīng)網(wǎng)絡(luò)識別圖像；

步驟1.3：識別結(jié)果是手掌張開，手勢坐標(biāo)有效，保存手勢坐標(biāo)并處理坐標(biāo)防抖，進(jìn)入步驟1.6；識別結(jié)果是手掌閉合，手勢坐標(biāo)有效，保存手勢坐標(biāo)并處理坐標(biāo)防抖，進(jìn)入步驟1.6；識別結(jié)果是握拳手勢，則進(jìn)入步驟1.4；

步驟1.4： 判斷握拳手勢有效性，依據(jù)當(dāng)前握拳手勢坐標(biāo)是否在上次識別到的手掌內(nèi)部，如果在內(nèi)部則握拳手勢有效進(jìn)入到步驟1.6，否則握拳手勢無效進(jìn)入步驟1.5；

步驟1.5：未檢測到手勢，手勢坐標(biāo)無效；

步驟1.6：識別任務(wù)結(jié)束。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于：所述坐標(biāo)防抖采用距離判定法，與上一幀手勢坐標(biāo)進(jìn)行比較，規(guī)定距離閾值，大于閾值更新手勢坐標(biāo)，小于閾值使用上一幀手勢坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述步驟3具體為：

步驟3.1：等待娃娃機(jī)請求連接；

步驟3.2：連接成功進(jìn)行回執(zhí)執(zhí)行步驟3.3，連接失敗執(zhí)行步驟3.1；

步驟3.3：等待娃娃機(jī)請求游戲開始指令；

步驟3.4：收到娃娃機(jī)游戲開始指令執(zhí)行步驟3.5，未收到娃娃機(jī)游戲開始指令執(zhí)行步驟3.3；

步驟3.5：等待接收娃娃機(jī)指令，指令是手勢狀態(tài)請求執(zhí)行步驟3.6，指令是游戲結(jié)束執(zhí)行步驟3.7；

步驟3.6：將當(dāng)前手勢狀態(tài)回復(fù)娃娃機(jī)；

步驟3.7：結(jié)束本次任務(wù)，并進(jìn)行回執(zhí)。

6.一種用于帶有步進(jìn)天車娃娃機(jī)的隨動方式手勢控制系統(tǒng)，所述步進(jìn)天車能夠按照坐標(biāo)位置進(jìn)行移動，其特征在于：所述系統(tǒng)包括手勢識別模塊、坐標(biāo)轉(zhuǎn)換模塊和通信模塊；

所述手勢識別模塊利用攝像頭采集用戶手勢操作圖像信息，通過CNN卷積神經(jīng)網(wǎng)絡(luò)模型對采集到的用戶手勢操作圖像信息進(jìn)行手勢識別，從而得到手勢坐標(biāo)；

所述坐標(biāo)轉(zhuǎn)換模塊用于將手勢坐標(biāo)轉(zhuǎn)換成步進(jìn)天車空間坐標(biāo)，更新當(dāng)前手勢狀態(tài)；

所述通信模塊用于與娃娃機(jī)系統(tǒng)進(jìn)行通信，獲取娃娃機(jī)狀態(tài)以及通知娃娃機(jī)當(dāng)前手勢狀態(tài)，從而完成娃娃機(jī)的控制操作；

所述將手勢坐標(biāo)轉(zhuǎn)換成步進(jìn)天車空間坐標(biāo)，更新當(dāng)前手勢狀態(tài)，具體為：

步驟2.1：判斷手勢類型是否有效，有效則進(jìn)行步驟2.2，無效則執(zhí)行步驟2.4；

步驟2.2：判斷手勢坐標(biāo)是否落在圖像操作區(qū)，圖像4個(gè)邊緣向內(nèi)偏移一定距離后形成的矩形區(qū)域定義為圖像操作區(qū)，如果落在圖像操作區(qū)則執(zhí)行步驟2.3，否則執(zhí)行步驟2.4；

步驟2.3：將圖像手勢坐標(biāo)轉(zhuǎn)換成步進(jìn)天車空間坐標(biāo)：手勢中心定義為圖像手勢坐標(biāo)，計(jì)算手勢中心橫軸與縱軸所在圖像操作區(qū)的相對位置，從而得到手勢在圖像操作區(qū)內(nèi)的相對坐標(biāo)，即步進(jìn)天車空間坐標(biāo)；

步驟2.4：更新當(dāng)前手勢狀態(tài)；

步驟2.5：完成。