[發(fā)明專利]基于時(shí)空序列圖的手勢(shì)檢測方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110405444.3
• 申請(qǐng)日: 2021-04-15
• 公開（公告）號(hào): CN113343752B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 劉一良;亓延鵬;代麗;呂蕾
• 申請(qǐng)（專利權(quán)）人: 山東師范大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/44;G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 朱忠范

1.一種基于時(shí)空序列圖的手勢(shì)檢測方法，其特征在于，包括：

構(gòu)建手部關(guān)節(jié)點(diǎn)的時(shí)空序列圖，具體包括：對(duì)視頻進(jìn)行手部關(guān)節(jié)點(diǎn)提取，手部的自然骨架連接和兩只手對(duì)應(yīng)關(guān)節(jié)點(diǎn)的連接來構(gòu)造空間圖，連續(xù)幀之間相同的關(guān)節(jié)點(diǎn)連接構(gòu)建得到所述時(shí)空序列圖；

將構(gòu)建好的時(shí)空序列圖輸入圖卷積神經(jīng)網(wǎng)絡(luò)GCN模塊，提取每個(gè)關(guān)節(jié)點(diǎn)和與其相鄰關(guān)節(jié)點(diǎn)之間的特征關(guān)系，輸出特征向量；

GCN的特征提取方式：

其中，I表示節(jié)點(diǎn)自身的單位矩陣，表示引入自身節(jié)點(diǎn)特征的鄰接矩陣，表示節(jié)點(diǎn)的度矩陣，A表示不包含自身節(jié)點(diǎn)特征的鄰接矩陣，σ表示Sigmoid函數(shù)，H表示第l層的特征矩陣，W表示第l層的權(quán)重，l表示模型的第l層；

在GCN整個(gè)訓(xùn)練過程中，只需要對(duì)各個(gè)隱含層的權(quán)重矩陣W^(l)進(jìn)行梯度下降訓(xùn)練即可；

將特征向量作為空間編碼器C-Encoder部分的embedding輸入，進(jìn)行位置編碼Positional?Encode操作，得到位置編碼向量；

進(jìn)行位置編碼時(shí)，首先在C-Encoder部分進(jìn)行位置編碼，借助正余弦函數(shù)來實(shí)現(xiàn)：

公式中，pos代表在圖中為每個(gè)節(jié)點(diǎn)分配的編號(hào)，i表示特征向量的維度序號(hào)，取值范圍是0-d_model/2，d_model是指每個(gè)節(jié)點(diǎn)的特征向量的維度；

將得到的位置編碼向量與GCN輸出的特征向量對(duì)位相加，輸入到C-Encoder模塊中，經(jīng)過編碼得到動(dòng)作向量；

將得到的動(dòng)作向量作為時(shí)序編碼器T-Encoder的輸入，進(jìn)行編碼，最后得到關(guān)節(jié)點(diǎn)與其他關(guān)節(jié)點(diǎn)的時(shí)空關(guān)系向量；

將動(dòng)作向量和時(shí)空關(guān)系向量輸入到聚類模塊中，學(xué)習(xí)各類手勢(shì)動(dòng)作特征，使用軟分配聚類的方式進(jìn)行聚類，實(shí)現(xiàn)手勢(shì)的分類識(shí)別。

2.一種基于時(shí)空序列圖的手勢(shì)檢測系統(tǒng)，用于實(shí)現(xiàn)權(quán)利要求1所述的基于時(shí)空序列圖的手勢(shì)檢測方法，其特征在于，包括：

構(gòu)建模塊，用于構(gòu)建手部關(guān)節(jié)點(diǎn)的時(shí)空序列圖；

提取模塊，用于提取每個(gè)關(guān)節(jié)點(diǎn)和與其相鄰關(guān)節(jié)點(diǎn)之間的特征關(guān)系；

第一編碼模塊，用于對(duì)特征關(guān)系進(jìn)行位置編碼操作，得到位置編碼向量；

第二編碼模塊，用于結(jié)合位置編碼向量和特征關(guān)系，編碼得到動(dòng)作向量；

第三編碼模塊，用于對(duì)動(dòng)作向量進(jìn)行時(shí)序編碼，獲得關(guān)節(jié)點(diǎn)與其他關(guān)節(jié)點(diǎn)的時(shí)空關(guān)系向量；

聚類模塊，用于將動(dòng)作向量和時(shí)空關(guān)系向量進(jìn)行聚類分析，實(shí)現(xiàn)手勢(shì)的分類識(shí)別。

3.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括用于執(zhí)行如權(quán)利要求1所述的基于時(shí)空序列圖的手勢(shì)檢測方法的指令。

4.一種電子設(shè)備，包括如權(quán)利要求3所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；以及能夠執(zhí)行所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的所述指令的一個(gè)或多個(gè)處理器。