[發(fā)明專利]AR手勢識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010572370.8
• 申請日: 2020-06-22
• 公開（公告）號(hào): CN111709384B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 裴增陽
• 申請（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 陳熙

1.一種AR手勢識(shí)別方法，其特征在于，包括以下步驟：

采集記錄用戶手勢的第一圖像；

識(shí)別所述第一圖像中的手部的第一輪廓信息；所述識(shí)別所述第一圖像中的手部的第一輪廓信息的步驟，包括：獲取用戶手部未出現(xiàn)在鏡頭中時(shí)的圖像作為背景圖像；將背景圖像以及第一圖像調(diào)整至相同尺寸規(guī)格，識(shí)別出第一圖像相對該背景圖像增加的部分，提取出手部區(qū)域的圖像，進(jìn)而得到第一輪廓信息；

根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點(diǎn)的第一位置信息；

根據(jù)關(guān)節(jié)點(diǎn)的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像，其中，關(guān)節(jié)點(diǎn)和背景顏色相同；

所述根據(jù)關(guān)節(jié)點(diǎn)的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像的步驟包括：對所述第一圖像中的背景區(qū)域二值化處理，使其轉(zhuǎn)換為黑色；對所述第一圖像中的與所述第一輪廓信息對應(yīng)的手部區(qū)域內(nèi)的各個(gè)關(guān)節(jié)點(diǎn)的顏色轉(zhuǎn)換為黑色，從而得到關(guān)節(jié)黑白圖像；

將所述關(guān)節(jié)黑白圖像輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型，識(shí)別出用戶的手勢類型；

所述方法還包括：獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集包括多個(gè)樣本數(shù)據(jù)，每一所述樣本數(shù)據(jù)包括樣本關(guān)節(jié)黑白圖像以及對應(yīng)的手勢類型；將所述多個(gè)樣本數(shù)據(jù)輸入cnn卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以得到預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的AR手勢識(shí)別方法，其特征在于，所述根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點(diǎn)的第一位置信息的步驟包括：

將所述第一輪廓信息輸入第一神經(jīng)網(wǎng)絡(luò)模型，以獲取所述手部的各個(gè)關(guān)節(jié)點(diǎn)的第一位置信息。

3.一種AR手勢識(shí)別裝置，其特征在于，包括：

采集模塊，用于采集記錄用戶手勢的第一圖像；

第一識(shí)別模塊，識(shí)別所述第一圖像中的手部的第一輪廓信息；

所述第一識(shí)別模塊包括：

第一獲取單元，用于獲取用戶手部未出現(xiàn)在鏡頭中時(shí)的圖像作為背景圖像；

識(shí)別單元，用于根據(jù)所述背景圖像獲取所述第一圖像中的手部的第一輪廓信息；

第一獲取模塊，用于根據(jù)所述第一輪廓信息獲取所述手部的關(guān)節(jié)點(diǎn)的第一位置信息；

二值化模塊，用于根據(jù)關(guān)節(jié)點(diǎn)的第一位置信息對所述第一圖像進(jìn)行二值化處理，以得到關(guān)節(jié)黑白圖像，其中，關(guān)節(jié)點(diǎn)和背景顏色相同；

所述二值化模塊具體用于：對所述第一圖像中的背景區(qū)域二值化處理，使其轉(zhuǎn)換為黑色；對所述第一圖像中的與所述第一輪廓信息對應(yīng)的手部區(qū)域內(nèi)的各個(gè)關(guān)節(jié)點(diǎn)的顏色轉(zhuǎn)換為黑色，從而得到關(guān)節(jié)黑白圖像

第二識(shí)別模塊，用于將所述關(guān)節(jié)黑白圖像輸入預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型，識(shí)別出用戶的手勢類型；

所述裝置還包括：

第二獲取模塊，用于獲取樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集包括多個(gè)樣本數(shù)據(jù)，每一所述樣本數(shù)據(jù)包括樣本關(guān)節(jié)黑白圖像以及對應(yīng)的手勢類型；

訓(xùn)練模塊，用于將所述多個(gè)樣本數(shù)據(jù)輸入cnn卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以得到預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)模型。

4.一種電子設(shè)備，其特征在于，包括處理器以及存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)可讀取指令，當(dāng)所述計(jì)算機(jī)可讀取指令由所述處理器執(zhí)行時(shí)，運(yùn)行如權(quán)利要求1-2任一所述方法中的步驟。

5.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)運(yùn)行如權(quán)利要求1-2任一所述方法中的步驟。