[發(fā)明專利]基于時空序列圖的手勢檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110405444.3
• 申請日: 2021-04-15
• 公開（公告）號: CN113343752B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 劉一良;亓延鵬;代麗;呂蕾
• 申請（專利權(quán)）人: 山東師范大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/44;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 朱忠范

本發(fā)明提供一種基于時空序列圖的手勢檢測方法，屬于計算機視覺技術(shù)領(lǐng)域，包括：構(gòu)建手部關(guān)節(jié)點的時空序列圖，提取每個關(guān)節(jié)點和與其相鄰關(guān)節(jié)點之間的特征關(guān)系；對特征關(guān)系進行位置編碼操作，得到位置編碼向量；結(jié)合位置編碼向量和特征關(guān)系，編碼得到動作向量；對動作向量進行時序編碼，獲得關(guān)節(jié)點與其他關(guān)節(jié)點的時空關(guān)系向量；將動作向量和時空關(guān)系向量進行聚類分析，實現(xiàn)手勢的分類識別。本發(fā)明針對視點，照明等不必要的參數(shù)，從輸入視頻幀中提取手部關(guān)鍵點，有效的檢測出手勢動作中的異常行為；使用半監(jiān)督的方式對模型進行訓練，利用聚類的方式去對行為進行聚類和判定，得到了較好的聚類效果，實現(xiàn)了對不同環(huán)境下的手勢動作的識別和異常檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺識別技術(shù)領(lǐng)域，具體涉及一種基于時空序列圖的手勢檢測方法及系統(tǒng)。

背景技術(shù)

自然的交互技術(shù)成為當下人機交互領(lǐng)域研究的熱點，而手勢是一種自然且直觀的人機交互方式，因此，基于視覺跟蹤的手勢交互技術(shù)得到了眾多研究者的關(guān)注。但由于手掌形狀不一、手勢運動復(fù)雜多變且容易受外界環(huán)境干擾等問題，使得有效的異常手勢檢測仍然存在較大挑戰(zhàn)。

基于視頻的異常行為檢測方法可分為無監(jiān)督、半監(jiān)督、有監(jiān)督三類。無監(jiān)督方法不需要標簽信息，假設(shè)異常行為是罕見且無規(guī)律的。有監(jiān)督方法，用正例樣本和負例樣本同時進行訓練，提取正異常之間更具區(qū)分性的特征。但有監(jiān)督方法數(shù)據(jù)集需要的負例樣本數(shù)量較大，而某些異常行為是極少發(fā)生的，樣本獲取困難。半監(jiān)督方法只提供正例樣本進行訓練，基于“非正即異”思想，將那些不符合正常特征分布的樣本檢測為異常。在異常行為較少發(fā)生或難以標注的情況下有很好的魯棒性。

在檢測過程中的特征提取環(huán)節(jié)也存在大量的特征提取方法。基于手部關(guān)鍵點信息的特征提取方法由于其具有較好的魯棒性和適應(yīng)性，且能夠去除背景信息所帶來的誤差，目前得到了廣泛的使用。相比于圖像特征，關(guān)鍵點特征更加緊湊，對手勢描述也更加的具體，且不易受光照和背景變化的影響。目前有關(guān)異常手勢檢測模型較少，且現(xiàn)有模型進行異常手勢檢測的效果比較差，忽略了兩只手之間的聯(lián)系，一定程度上影響了最終檢測識別效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種考慮到提取手部關(guān)鍵點信息可以減少視點、背景等不必要的因素帶來的影響，最終使網(wǎng)絡(luò)得到好的聚類效果，能利用手部關(guān)節(jié)點的時空關(guān)系，有效的檢測出手勢動作中的異常行為的基于時空序列圖的手勢檢測方法及系統(tǒng)，以解決上述背景技術(shù)中存在的至少一項技術(shù)問題。

為了實現(xiàn)上述目的，本發(fā)明采取了如下技術(shù)方案：

第一方面，本發(fā)明提供一種基于時空序列圖的手勢檢測方法，包括：

構(gòu)建手部關(guān)節(jié)點的時空序列圖，提取每個關(guān)節(jié)點和與其相鄰關(guān)節(jié)點之間的特征關(guān)系；對特征關(guān)系進行位置編碼操作，得到位置編碼向量；

結(jié)合位置編碼向量和特征關(guān)系，編碼得到動作向量；對動作向量進行時序編碼，獲得關(guān)節(jié)點與其他關(guān)節(jié)點的時空關(guān)系向量；

將動作向量和時空關(guān)系向量進行聚類分析，實現(xiàn)手勢的分類識別。

優(yōu)選的，構(gòu)建手部關(guān)節(jié)點的時空序列圖包括：對視頻進行手部關(guān)節(jié)點提取，手部的自然骨架連接和兩只手對應(yīng)關(guān)節(jié)點的連接來構(gòu)造空間圖，連續(xù)幀之間相同的關(guān)節(jié)點連接構(gòu)建得到所述時空序列圖。

優(yōu)選的，將構(gòu)建好的時空序列圖輸入圖卷積神經(jīng)網(wǎng)絡(luò)GCN模塊，提取每個關(guān)節(jié)點和與其相鄰關(guān)節(jié)點之間的特征關(guān)系，輸出特征向量。

優(yōu)選的，將特征向量作為空間編碼器C-Encoder部分的embedding輸入，進行位置編碼Positional?Encode操作，得到位置編碼向量。

優(yōu)選的，將得到的位置編碼向量與GCN輸出的特征向量對位相加，輸入到C-Encoder模塊中，經(jīng)過編碼得到動作向量。

優(yōu)選的，將得到的動作向量作為時序編碼器T-Encoder的輸入，進行編碼，最后得到關(guān)節(jié)點與其他關(guān)節(jié)點的時空關(guān)系向量。