[發(fā)明專利]AR手勢識別方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010572370.8
• 申請日: 2020-06-22
• 公開（公告）號: CN111709384B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 裴增陽
• 申請（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 陳熙

本申請實施例提供了一種AR手勢識別方法、裝置、電子設(shè)備及存儲介質(zhì)。該AR手勢識別方法，包括以下步驟：采集記錄用戶手勢的第一圖像；識別所述第一圖像中的手部的第一輪廓信息；根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點的第一位置信息；根據(jù)關(guān)節(jié)點的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像，其中，關(guān)節(jié)點和背景顏色相同；將所述關(guān)節(jié)黑白圖像輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型，識別出用戶的手勢類型。本申請實施例可以完成手勢類型的識別，可以提高手勢類型識別的準(zhǔn)確率以及效率。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體而言，涉及一種AR手勢識別方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著5G的到來，AR技術(shù)已經(jīng)給生活帶來了很大的便利性，特別是，特別是結(jié)合5G場景下的應(yīng)用，AR的結(jié)合營銷的場景越來越凸顯的非常重要。

為了讓用戶在對5G有一個親身體驗，可免費與機(jī)器人零距離接觸，利用參與游戲互動贏取免費禮物，吸引更多的用戶前來體驗，達(dá)到用戶的拉新以及宣傳卡券中心能力的目的。但是，現(xiàn)有技術(shù)中對于手勢識別的效率較低。

針對上述問題，目前尚未有有效的技術(shù)解決方案。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種AR手勢識別方法、裝置、電子設(shè)備及存儲介質(zhì)，可以提高識別準(zhǔn)確度以及效率。

第一方面，本申請實施例提供了一種AR手勢識別方法，包括以下步驟：

采集記錄用戶手勢的第一圖像；

識別所述第一圖像中的手部的第一輪廓信息；

根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點的第一位置信息；

根據(jù)關(guān)節(jié)點的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像，其中，關(guān)節(jié)點和背景顏色相同；

將所述關(guān)節(jié)黑白圖像輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型，識別出用戶的手勢類型。

本申請實施例提供的AR手勢識別方法通過采集記錄用戶手勢的第一圖像；識別所述第一圖像中的手部的第一輪廓信息；根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點的第一位置信息；根據(jù)關(guān)節(jié)點的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像，其中，關(guān)節(jié)點和背景顏色相同；將所述關(guān)節(jié)黑白圖像輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型，識別出用戶的手勢類型；從而完成手勢類型的識別，可以提高手勢類型識別的準(zhǔn)確率以及效率。

可選地，在本申請實施例所述的AR手勢識別方法中，所述方法還包括：

獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集包括多個樣本數(shù)據(jù)，每一所述樣本數(shù)據(jù)包括樣本關(guān)節(jié)黑白圖像以及對應(yīng)的手勢類型；

將所述多個樣本數(shù)據(jù)輸入cnn卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以得到預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型。

可選地，在本申請實施例所述的AR手勢識別方法中，所述識別所述第一圖像中的手部的第一輪廓信息的步驟，包括：

獲取用戶手部未出現(xiàn)在鏡頭中時的圖像作為背景圖像；

根據(jù)所述背景圖像獲取所述第一圖像中的手部的第一輪廓信息。

可選地，在本申請實施例所述的AR手勢識別方法中，所述根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點的第一位置信息的步驟包括：

將所述第一輪廓信息輸入第一神經(jīng)網(wǎng)絡(luò)模型，以獲取所述手部的各個關(guān)節(jié)點的第一位置信息。

可選地，在本申請實施例所述的AR手勢識別方法中，所述根據(jù)關(guān)節(jié)點的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像的步驟包括：

對所述第一圖像中的背景區(qū)域二值化處理，使其轉(zhuǎn)換為黑色；