[發(fā)明專利]手勢識別的方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211210579.5
• 申請日: 2022-09-30
• 公開（公告）號: CN115471918A
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計）人: 劉浩東
• 申請（專利權(quán)）人: 中國銀行股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/16;G06V10/22
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 崔清楊

本申請?zhí)峁┮环N手勢識別的方法、裝置、設(shè)備和存儲介質(zhì)，可應(yīng)用于虛擬現(xiàn)實領(lǐng)域或金融領(lǐng)域，方法包括：對用戶進(jìn)行臉部識別；臉部識別通過后，采集用戶的多幀手部圖像；利用預(yù)先訓(xùn)練的手勢識別模型識別多幀手部圖像，獲得多幀手部圖像對應(yīng)的計算機可讀取的操作數(shù)據(jù)；將操作數(shù)據(jù)輸入游戲系統(tǒng)或支付系統(tǒng)，使游戲系統(tǒng)或支付系統(tǒng)執(zhí)行對應(yīng)的操作。利用本方案，用戶在可拍照的普通終端(如智能手機)上就可以通過手勢識別實現(xiàn)人機交互，降低手勢識別這一人機交互方式的通用性。

技術(shù)領(lǐng)域

本發(fā)明涉及手勢識別技術(shù)領(lǐng)域，特別涉及一種手勢識別的方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)

當(dāng)前虛擬現(xiàn)實游戲及其衍生物深受諸多前沿技術(shù)公司親睞，但是目前為止的VR相關(guān)游戲均需要通過手勢識別來操作，而手勢識別又往往依賴一些專用的硬件設(shè)備來實現(xiàn)，過多的硬件設(shè)備會在易用性和通用性上常常出現(xiàn)問題。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)的缺點，本發(fā)明提供一種手勢識別的方法、裝置、設(shè)備和存儲介質(zhì)，以提供一種通用的手勢識別方案。

本申請第一方面提供一種手勢識別的方法，包括：

對用戶進(jìn)行臉部識別；

臉部識別通過后，采集用戶的多幀手部圖像；

利用預(yù)先訓(xùn)練的手勢識別模型識別所述多幀手部圖像，獲得所述多幀手部圖像對應(yīng)的計算機可讀取的操作數(shù)據(jù)；

將所述操作數(shù)據(jù)輸入游戲系統(tǒng)或支付系統(tǒng)，使所述游戲系統(tǒng)或所述支付系統(tǒng)執(zhí)行對應(yīng)的操作。

可選的，訓(xùn)練所述手勢識別模型的過程包括：

利用多張預(yù)先標(biāo)注有手部所在區(qū)域的手部圖像訓(xùn)練所述手勢識別模型中的手部分割子模型；

利用多個預(yù)先標(biāo)注有對應(yīng)的手部動作的視頻片段訓(xùn)練所述手勢識別模型中的動作識別子模型。

可選的，所述利用預(yù)先訓(xùn)練的手勢識別模型識別所述多幀手部圖像，獲得所述多幀手部圖像對應(yīng)的計算機可讀取的操作數(shù)據(jù)，包括：

利用所述手勢識別模型中的手部分割子模型識別所述多幀手部圖像的每一幀，獲得所述多幀手部圖像的每一幀中手部所在區(qū)域；

利用所述手勢識別模型中的動作識別子模型識別標(biāo)注有手部所在區(qū)域的所述多幀手部圖像，獲得所述多幀手部圖像對應(yīng)的手部動作；

根據(jù)預(yù)設(shè)的手部動作和操作數(shù)據(jù)的映射關(guān)系，利用所述多幀手部圖像對應(yīng)的手部動作，確定所述多幀手部圖像對應(yīng)的計算機可讀取的操作數(shù)據(jù)。

可選的，所述對用戶進(jìn)行臉部識別，包括：

采集用戶的臉部圖像；

利用預(yù)先訓(xùn)練的人臉識別模型識別所述臉部圖像和預(yù)先存儲的用戶的參考臉部圖像是否匹配；

若所述臉部圖像和所述參考臉部圖像匹配，確定臉部識別通過；

若所述臉部圖像和所述參考臉部圖像不匹配，確定臉部識別不通過。

本申請第二方面提供一種手勢識別的裝置，包括：

臉部識別單元，用于對用戶進(jìn)行臉部識別；

采集單元，用于臉部識別通過后，采集用戶的多幀手部圖像；

動作識別單元，用于利用預(yù)先訓(xùn)練的手勢識別模型識別所述多幀手部圖像，獲得所述多幀手部圖像對應(yīng)的計算機可讀取的操作數(shù)據(jù)；

輸入單元，用于將所述操作數(shù)據(jù)輸入游戲系統(tǒng)或支付系統(tǒng)，使所述游戲系統(tǒng)或所述支付系統(tǒng)執(zhí)行對應(yīng)的操作。

可選的，所述裝置還包括訓(xùn)練單元，用于：