[發(fā)明專利]一種基于時空圖卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法和裝置

在審

• 申請?zhí)枺?/td>: 202011031929.2
• 申請日: 2020-09-27
• 公開（公告）號: CN112329525A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 鄧小明;張維;程堅;林澤一;馬翠霞;王宏安
• 申請（專利權(quán)）人: 中國科學(xué)院軟件研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 司立彬

本發(fā)明公開了一種基于時空圖卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法和裝置。所述方法包括：獲取人手關(guān)節(jié)序列；基于人手關(guān)節(jié)序列建立人手骨架時空圖；構(gòu)建人手骨架時空圖上的時間注意力和空間注意力機制；構(gòu)建時間金字塔池化層，提取多尺度的時間特征；使用人手關(guān)節(jié)和人手運動兩種類型的輸入數(shù)據(jù)設(shè)計雙分支網(wǎng)絡(luò)，獲取人手關(guān)節(jié)之間的關(guān)聯(lián)性，可以提取人手關(guān)節(jié)序列具有強鑒別力的特征，進行特征融合和手勢識別。本發(fā)明具有精度高和實時性的優(yōu)點，可滿足專業(yè)的或者大眾化的應(yīng)用需求。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺、手勢識別、人機交互領(lǐng)域，具體涉及到一種基于時空圖卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法和裝置，適用于人體整體或局部(如人體、人手、人臉等)、動物、機器人等對象。

背景技術(shù)

手勢識別是計算機視覺和人機交互領(lǐng)域的熱點問題，在虛擬現(xiàn)實，智能控制和終端設(shè)備上具有廣泛的應(yīng)用。手勢識別任務(wù)主要是從一段手勢動作視頻中識別出動作者具體在做哪種手勢。手勢識別分為基于RGB視頻的手勢識別方法和基于人手姿態(tài)的手勢識別方法。相比于基于RGB視頻的手勢識別方法，基于人手姿態(tài)的手勢識別方法使用人手關(guān)節(jié)位置作為輸入，這類方法能夠更好的關(guān)注到手部的位置與運動信息，并且容易剔除背景信息的影響，是一種具有較大發(fā)展?jié)摿Φ姆椒ǎ傻玫礁鼫?zhǔn)確的手勢識別結(jié)果，計算效率更高。基于人手姿態(tài)的手勢識別方法中，如何提取人手姿態(tài)序列中的有鑒別力的時間與空間特征是關(guān)鍵難點?；谑植孔藨B(tài)的手勢識別方法主要分為以下三個階段：首先，利用人工標(biāo)注方法或手部姿態(tài)檢測方法獲取手部的姿態(tài)信息；然后，利用傳統(tǒng)特征提取方法或深度學(xué)習(xí)特征提取方法提取手部姿態(tài)的特征；最后，將特征輸入到分類器中進行手勢分類。

基于手部姿態(tài)的手勢識別方法也分為基于傳統(tǒng)機器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法。

基于傳統(tǒng)機器學(xué)習(xí)的方法通常利用Fisher Vector(FV)或者直方圖的方法構(gòu)造出手部姿態(tài)的特征，然后利用GMM或者CRF等方法提取出時序特征，最后輸入到SVM等分類器中進行手勢分類。Smedt等人使用三個向量來表示手部的運動方向信息，旋轉(zhuǎn)信息和手部的形狀信息，并利用FV和GMMs方法來編碼這些特征，最后輸入到SVM進行訓(xùn)練和分類。Zhao等人提出了一種基于骨架的動態(tài)手勢識別方法。該方法提取了四種手部形狀特征和一種手部方向特征，并將其輸入線性SVM分類器進行識別。相比于深度學(xué)習(xí)方法，傳統(tǒng)機器學(xué)習(xí)方法需要手動構(gòu)造特征，這種特征往往沒有深度學(xué)習(xí)自動提取的特征好，從而最后分類的效果也不如深度學(xué)習(xí)的方法好。

基于深度學(xué)習(xí)的方法主要可以分為三種：基于長短時記憶網(wǎng)絡(luò)(LSTM)架構(gòu)、基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)和基于圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)架構(gòu)的方法?；陂L短時記憶網(wǎng)絡(luò)(LSTM)架構(gòu)的識別方法通常將人手姿態(tài)信息輸入到LSTM網(wǎng)絡(luò)中直接進行分類。這種方法較為簡單，但是準(zhǔn)確率不高。基于CNN架構(gòu)的方法將人體姿態(tài)通過一定的編碼方式編碼成圖片或者矩陣的形式，利用現(xiàn)有的CNN網(wǎng)絡(luò)架構(gòu)進行特征提取并進行識別。基于GCN的方法首先將人體姿態(tài)建立時空圖，然后利用圖卷積神經(jīng)網(wǎng)絡(luò)提取時空特征。相比于基于CNN架構(gòu)的方法，這種方法可以減小參數(shù)量，是目前手勢識別和動作識別的主流方法?；趫D卷積神經(jīng)網(wǎng)絡(luò)(GCN)架構(gòu)的方法是最近興起的方法，通常將人手姿態(tài)信息輸入到一個使用固定圖的圖卷積神經(jīng)網(wǎng)絡(luò)中進行分類，分類準(zhǔn)確性依然不高。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提供了一種基于時空圖卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法和裝置。本發(fā)明不僅關(guān)注手勢識別中的時間信息，還關(guān)注空間上下文信息(空間上下文信息在手勢識別中是十分關(guān)鍵的)，而且對不同時刻、不同關(guān)節(jié)對于手勢識別效果的重要性進行區(qū)分。因此本發(fā)明基于人手關(guān)節(jié)序列建立人手骨架時空圖，設(shè)計時間注意力和空間注意力機制，時間注意力機制刻畫人手骨架序列在時間維度上的關(guān)聯(lián)性，空間注意力機制建立每個時間的動態(tài)圖結(jié)構(gòu)，獲取人手關(guān)節(jié)之間的關(guān)聯(lián)性，通過具有時間注意力和空間注意力機制的時空圖卷積神經(jīng)網(wǎng)絡(luò)可以提取人手關(guān)節(jié)序列中具有強鑒別力的時間空間特征。