[發(fā)明專(zhuān)利]基于頭戴設(shè)備的手勢(shì)識(shí)別方法、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010442064.2
• 申請(qǐng)日: 2020-05-22
• 公開(kāi)（公告）號(hào): CN111796672B
• 公開(kāi)（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 劉德建;陳叢亮;郭玉湖;陳宏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 福建天晴數(shù)碼有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06F3/16;G06N3/0442;G06N3/08
• 代理公司: 福州市博深專(zhuān)利事務(wù)所(普通合伙) 35214
• 代理人: 張明

1.基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，包括：

預(yù)設(shè)手指敲擊聲對(duì)應(yīng)的控制指令；

在預(yù)設(shè)的第一時(shí)長(zhǎng)內(nèi)，依據(jù)每幀圖像的各像素的RGB值，獲取未使用的RGB值，并發(fā)送至發(fā)光設(shè)備；

在預(yù)設(shè)的第二時(shí)長(zhǎng)內(nèi)，識(shí)別發(fā)光設(shè)備依據(jù)接收到的RGB值而輸出的光在顯示器中的坐標(biāo)位置；

所述第一時(shí)長(zhǎng)與所述第二時(shí)長(zhǎng)無(wú)縫的輪流啟動(dòng)計(jì)時(shí)；

采集得到一手指敲擊聲；

識(shí)別得到所述手指敲擊聲對(duì)應(yīng)的控制指令；

對(duì)應(yīng)當(dāng)前識(shí)別到的坐標(biāo)位置，執(zhí)行所述控制指令；

所述預(yù)設(shè)手指敲擊聲對(duì)應(yīng)的控制指令，包括：

對(duì)采集得到的各手指敲擊聲波形樣本數(shù)據(jù)設(shè)置對(duì)應(yīng)的標(biāo)簽；

對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)：

對(duì)采集得到的各個(gè)樣本數(shù)據(jù)分別進(jìn)行短時(shí)傅里葉變換處理，提取各個(gè)樣本數(shù)據(jù)各自對(duì)應(yīng)的各頻率波形，按照時(shí)間順序?qū)⒏鳂颖緮?shù)據(jù)對(duì)應(yīng)的各頻率波形和標(biāo)簽傳入至LSTM網(wǎng)絡(luò)中，訓(xùn)練出LSTM網(wǎng)絡(luò)的最優(yōu)參數(shù)，得到最優(yōu)LSTM網(wǎng)絡(luò)；

設(shè)置各個(gè)標(biāo)簽對(duì)應(yīng)的控制指令；

所述依據(jù)每幀圖像的各像素的RGB值，獲取未使用的RGB值，具體為：

預(yù)設(shè)分別對(duì)應(yīng)不同RGB值范圍的兩個(gè)以上組；

獲取每幀圖像的各像素的RGB值；

依據(jù)RGB值，將各像素劃入對(duì)應(yīng)的組；

計(jì)算各組的像素點(diǎn)數(shù)，獲取像素點(diǎn)數(shù)最少的組；

確定所述像素點(diǎn)數(shù)最少的組對(duì)應(yīng)的RGB值范圍內(nèi)的RGB值為未使用的RGB值；

所述識(shí)別發(fā)光設(shè)備依據(jù)接收到的RGB值而輸出的光在顯示器中的坐標(biāo)位置，具體為：

控制發(fā)光設(shè)備發(fā)出對(duì)應(yīng)所述接收到的RGB值的光；

搜索當(dāng)前幀圖像中對(duì)應(yīng)發(fā)送至發(fā)光設(shè)備的RGB值的像素點(diǎn)，并獲取其坐標(biāo)位置；

依據(jù)所述第二時(shí)長(zhǎng)內(nèi)各幀圖像的所述坐標(biāo)位置，獲取所述第二時(shí)長(zhǎng)內(nèi)所述光對(duì)應(yīng)顯示器的移動(dòng)軌跡。

2.如權(quán)利要求1所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，所述對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)，包括：

對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)進(jìn)行STFT處理，提取各手指敲擊聲波形樣本數(shù)據(jù)對(duì)應(yīng)的各頻率波形；

將各手指敲擊聲波形樣本數(shù)據(jù)對(duì)應(yīng)的各頻率波形和標(biāo)簽傳入LSTM網(wǎng)絡(luò)中，得到最優(yōu)LSTM網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，所述對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)，包括：

對(duì)噪聲樣本數(shù)據(jù)設(shè)置對(duì)應(yīng)的標(biāo)簽；

對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽，以及所述噪聲樣本數(shù)據(jù)及其標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)。

4.如權(quán)利要求1所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，方法還包括：

對(duì)采集得到的組合手指敲擊聲波形樣本數(shù)據(jù)設(shè)置對(duì)應(yīng)的標(biāo)簽；

所述對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)，包括：

對(duì)所述各手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽，以及所述組合手指敲擊聲波形樣本數(shù)據(jù)及對(duì)應(yīng)的標(biāo)簽進(jìn)行訓(xùn)練，得到最優(yōu)LSTM網(wǎng)絡(luò)。

5.如權(quán)利要求4所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，訓(xùn)練的內(nèi)容還包括噪聲樣本數(shù)據(jù)及其標(biāo)簽。

6.如權(quán)利要求1-5任一項(xiàng)所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，所述識(shí)別得到所述手指敲擊聲對(duì)應(yīng)的控制指令，包括：

傳入所述一手指敲擊聲至所述最優(yōu)LSTM網(wǎng)絡(luò)中進(jìn)行識(shí)別，輸出最大概率的樣本數(shù)據(jù)的標(biāo)簽；

依據(jù)輸出的標(biāo)簽確定對(duì)應(yīng)的控制指令。

7.如權(quán)利要求1所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法，其特征在于，若所述未使用的RGB值對(duì)應(yīng)兩個(gè)以上的組，則所述發(fā)送至發(fā)光設(shè)備，具體為：

分別計(jì)算所述未使用的RGB值對(duì)應(yīng)的兩個(gè)以上的組與其他組的RGB差值；

獲取與其他組差值最大的組對(duì)應(yīng)的RGB值范圍；

發(fā)送所述RGB值范圍至發(fā)光設(shè)備。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序在被處理器執(zhí)行時(shí)，能實(shí)現(xiàn)上述權(quán)利要求1-7任意一項(xiàng)所述的基于頭戴設(shè)備的手勢(shì)識(shí)別方法包含的步驟。