[發(fā)明專利]一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110349364.0
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN113095386B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 黃明智;李小勇;易曉輝
• 申請(qǐng)（專利權(quán)）人: 華南師范大學(xué)
• 主分類號(hào): G06F18/2415
• 分類號(hào): G06F18/2415;G06F18/25;G06F18/213;G06F18/214;G06N3/0442;G06N3/045;G06N3/0464;G06N3/047;G06N3/048;G06N3/084;G06N3/0985;G06F123/02
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李君

本發(fā)明公開了一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法，包括以下步驟：獲取三軸加速度樣本數(shù)據(jù)，并使用標(biāo)注分類標(biāo)簽進(jìn)行數(shù)據(jù)集劃分；對(duì)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化數(shù)據(jù)集；將標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行空域特征提取和時(shí)域特征提取；通過(guò)空域特征數(shù)據(jù)和時(shí)域特征數(shù)據(jù)訓(xùn)練預(yù)測(cè)分類模型；使用訓(xùn)練后的預(yù)測(cè)分類模型進(jìn)行分類識(shí)別，得到識(shí)別結(jié)果；本發(fā)明可以獲取空域信息作為模型的特征，門控循環(huán)單元具有長(zhǎng)距離時(shí)序數(shù)據(jù)的信息特征提取能力，從而保證了系統(tǒng)具有處理有局部相關(guān)性的時(shí)序數(shù)據(jù)的能力；另外，將三軸加速度信號(hào)的空域特征和時(shí)域特征作為分類特征進(jìn)行輸入，同時(shí)提升了手勢(shì)識(shí)別分類方法的準(zhǔn)確性，以及分類系統(tǒng)的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及手勢(shì)識(shí)別的研究領(lǐng)域，特別涉及一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法及系統(tǒng)。

背景技術(shù)

在三軸加速度的手勢(shì)識(shí)別分類過(guò)程中，具有判別性的特征的提取需要大量的先驗(yàn)知識(shí)，這樣的特征工程十分費(fèi)事費(fèi)力，同時(shí)這類特征密切影響著手勢(shì)識(shí)別分類的性能。

深度學(xué)習(xí)對(duì)三軸加速度的手勢(shì)識(shí)別分類具有良好的適用性，并且同時(shí)具備自動(dòng)特征工程的能力，通過(guò)訓(xùn)練能夠自動(dòng)提取具有判別性的特征。

目前應(yīng)用于三軸加速度的手勢(shì)識(shí)別分類深度學(xué)習(xí)方法，主要包括深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類模型和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)(代表有門控循環(huán)單元(GRU))分類模型等訓(xùn)練后進(jìn)行預(yù)測(cè)分類。

常見的三軸加速度信號(hào)是一種一維信號(hào)，對(duì)于一維信號(hào)的卷積神經(jīng)網(wǎng)絡(luò)模型，常用方法是使用一維卷積進(jìn)行特征提取。

其中的一維卷積即試圖提取信號(hào)在某一方向的平移不變特征，這里的三軸加速度信號(hào)是一種時(shí)間序列。因此，使用一維卷積進(jìn)行提取的三軸加速度信號(hào)在時(shí)間方向的平移不變特征。

卷積神經(jīng)網(wǎng)絡(luò)作為一種前饋網(wǎng)絡(luò)，其中各輸入之間是相互獨(dú)立的，每層神經(jīng)元的信號(hào)只能向下一層傳播，同一卷積層對(duì)不同通道信息的提取是獨(dú)立的。因此，卷積神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)于提取信號(hào)中包含的空間特征，但卻不能夠有效處理時(shí)間序列數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法及系統(tǒng)，旨在提升深度學(xué)習(xí)對(duì)手勢(shì)識(shí)別算法準(zhǔn)確性能不強(qiáng)的問(wèn)題，同時(shí)提高模型的泛化性能；具體包含卷積提取時(shí)空域的特征原理、門控循環(huán)單元原理和空時(shí)域特征融合原理。卷積提取時(shí)空域的特征原理，通過(guò)在信號(hào)在空間上的卷積計(jì)算，可以獲取空域信息作為模型的特征，門控循環(huán)單元原理具有長(zhǎng)距離時(shí)序數(shù)據(jù)的信息特征提取能力，從而保證了系統(tǒng)具有處理有局部相關(guān)性的時(shí)序數(shù)據(jù)的能力。空時(shí)域特征融合原理，將三軸加速度信號(hào)的空域特征和時(shí)域特征作為分類特征進(jìn)行輸入，同時(shí)提升了手勢(shì)識(shí)別分類方法的準(zhǔn)確性，以及分類系統(tǒng)的魯棒性。

本發(fā)明第一目的在于提供一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法；

本發(fā)明第二目的在于提供一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別系統(tǒng)。

本發(fā)明的第一目的通過(guò)以下的技術(shù)方案實(shí)現(xiàn)：

一種基于三軸加速度空時(shí)特征融合的手勢(shì)識(shí)別方法，其特征在于，包括以下步驟：

獲取三軸加速度歷史樣本數(shù)據(jù)，并使用標(biāo)注分類標(biāo)簽進(jìn)行數(shù)據(jù)集劃分；

對(duì)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化數(shù)據(jù)集；

將標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行空域特征提取和時(shí)域特征提取，得到空域特征數(shù)據(jù)和時(shí)域特征數(shù)據(jù)；

通過(guò)獲取的空域特征數(shù)據(jù)和時(shí)域特征數(shù)據(jù)訓(xùn)練預(yù)測(cè)分類模型；

使用訓(xùn)練后的預(yù)測(cè)分類模型進(jìn)行分類識(shí)別，得到識(shí)別結(jié)果。

進(jìn)一步地，還包括步驟：對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)；所述對(duì)識(shí)別結(jié)果進(jìn)行評(píng)價(jià)，具體為：

評(píng)估分類性能的指標(biāo)，包括：精確率、靈敏度、特異性、馬太相關(guān)系數(shù)；