[發(fā)明專(zhuān)利]一種實(shí)時(shí)手勢(shì)識(shí)別方法、裝置及人機(jī)交互系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011109960.3
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112148128B
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 張展;左德承;馮懿;封威;劉宏偉;舒燕君;董劍;羅丹彥;吳桐;張園博;尚江衛(wèi);陳思遠(yuǎn);陳新昊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06V40/20;G06V10/762;G06V10/764;G06N3/04
• 代理公司: 北京隆源天恒知識(shí)產(chǎn)權(quán)代理有限公司 11473
• 代理人: 鞠永帥

1.一種實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于，包括：

獲取手勢(shì)數(shù)據(jù)，所述手勢(shì)數(shù)據(jù)包括數(shù)據(jù)手套采集的傳感器數(shù)據(jù)；

對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理，并對(duì)預(yù)處理后的手勢(shì)數(shù)據(jù)進(jìn)行特征提取；

將所述特征提取的結(jié)果輸入預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型進(jìn)行多級(jí)手勢(shì)識(shí)別，確定手勢(shì)類(lèi)型信息，其中，所述分層手勢(shì)識(shí)別模型包括聚類(lèi)模型、支持向量機(jī)模型和卷積神經(jīng)網(wǎng)絡(luò)模型；

所述將所述特征提取的結(jié)果輸入預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型進(jìn)行多級(jí)手勢(shì)識(shí)別，確定手勢(shì)類(lèi)型信息包括：

將所述特征提取的結(jié)果輸入預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型，確定分類(lèi)置信度和對(duì)應(yīng)的預(yù)分類(lèi)結(jié)果；

根據(jù)所述分類(lèi)置信度、所述預(yù)分類(lèi)結(jié)果和預(yù)設(shè)手勢(shì)庫(kù)，確定所述手勢(shì)類(lèi)型信息，包括：

當(dāng)所述分類(lèi)置信度大于預(yù)設(shè)分類(lèi)閾值時(shí)，將對(duì)應(yīng)的所述預(yù)分類(lèi)結(jié)果確定為基本手勢(shì)；

當(dāng)所述基本手勢(shì)是所述預(yù)設(shè)手勢(shì)庫(kù)中的連續(xù)手勢(shì)起始手勢(shì)標(biāo)識(shí)時(shí)，確定連續(xù)手勢(shì)起始點(diǎn)，將所述連續(xù)手勢(shì)起始點(diǎn)之內(nèi)的基本手勢(shì)拼接成連續(xù)手勢(shì)序列；

根據(jù)所述連續(xù)手勢(shì)序列進(jìn)行約翰遜編碼；

將所述約翰遜編碼與所述預(yù)設(shè)手勢(shì)庫(kù)中的標(biāo)注手勢(shì)模板序列進(jìn)行相似度匹配；

當(dāng)所述相似度大于預(yù)設(shè)閾值時(shí)，確定具有最大相似度的手勢(shì)作為所述手勢(shì)類(lèi)型信息；

所述對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理包括：對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行手勢(shì)分割、滑動(dòng)窗口平均濾波和標(biāo)準(zhǔn)化處理；

所述對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行手勢(shì)分割包括：

確定當(dāng)前時(shí)刻的所述手勢(shì)數(shù)據(jù)與前一時(shí)刻的所述手勢(shì)數(shù)據(jù)的差分值，其中，所述差分值為每個(gè)相鄰手勢(shì)數(shù)據(jù)的差分絕對(duì)值之和；

當(dāng)所述差分值小于預(yù)設(shè)手勢(shì)波動(dòng)閾值時(shí)，將所述當(dāng)前時(shí)刻的手勢(shì)數(shù)據(jù)加入滑動(dòng)窗口；

當(dāng)所述差分值大于所述預(yù)設(shè)手勢(shì)波動(dòng)閾值時(shí)，將所述當(dāng)前時(shí)刻的手勢(shì)數(shù)據(jù)計(jì)入波動(dòng)數(shù)據(jù)；

對(duì)所述波動(dòng)數(shù)據(jù)進(jìn)行計(jì)數(shù)，當(dāng)所述波動(dòng)數(shù)據(jù)的計(jì)數(shù)值大于預(yù)設(shè)數(shù)據(jù)波動(dòng)閾值時(shí)，將所述滑動(dòng)窗口內(nèi)的所述手勢(shì)數(shù)據(jù)確定為當(dāng)前手勢(shì)，進(jìn)行所述手勢(shì)分割。

2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于，所述對(duì)預(yù)處理后的手勢(shì)數(shù)據(jù)進(jìn)行特征提取包括：

對(duì)預(yù)處理后的手勢(shì)數(shù)據(jù)進(jìn)行主成分分析，以提取所述預(yù)處理后的手勢(shì)數(shù)據(jù)的主要特征。

3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于，所述將所述特征提取的結(jié)果輸入預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型，確定分類(lèi)置信度和對(duì)應(yīng)的預(yù)分類(lèi)結(jié)果包括：

將所述特征提取的結(jié)果輸入所述預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型中的所述聚類(lèi)模型，確定聚類(lèi)分類(lèi)置信度，并根據(jù)所述聚類(lèi)分類(lèi)置信度確定所述預(yù)分類(lèi)結(jié)果；

當(dāng)所述聚類(lèi)分類(lèi)置信度小于第一預(yù)設(shè)閾值時(shí)，將所述特征提取的結(jié)果輸入所述預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型中的所述支持向量機(jī)模型，確定SVM分類(lèi)置信度，并根據(jù)所述SVM分類(lèi)置信度確定所述預(yù)分類(lèi)結(jié)果；

當(dāng)所述SVM分類(lèi)置信度小于第二預(yù)設(shè)閾值時(shí)，將所述特征提取的結(jié)果輸入所述預(yù)訓(xùn)練好的分層手勢(shì)識(shí)別模型中的所述卷積神經(jīng)網(wǎng)絡(luò)模型，確定卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)置信度，并根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)置信度確定所述預(yù)分類(lèi)結(jié)果。

4.根據(jù)權(quán)利要求1所述的實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于，所述根據(jù)所述分類(lèi)置信度、所述預(yù)分類(lèi)結(jié)果和預(yù)設(shè)手勢(shì)庫(kù)，確定所述手勢(shì)類(lèi)型信息還包括：

當(dāng)所述基本手勢(shì)不是所述預(yù)設(shè)手勢(shì)庫(kù)中的連續(xù)手勢(shì)起始手勢(shì)標(biāo)識(shí)時(shí)，將所述基本手勢(shì)與所述預(yù)設(shè)手勢(shì)庫(kù)中進(jìn)行匹配，確定對(duì)應(yīng)的所述手勢(shì)類(lèi)型信息。

5.根據(jù)權(quán)利要求1所述的實(shí)時(shí)手勢(shì)識(shí)別方法，其特征在于，所述傳感器數(shù)據(jù)包括用戶(hù)的手指彎曲數(shù)據(jù)和手掌運(yùn)動(dòng)姿態(tài)數(shù)據(jù)，根據(jù)所述手指彎曲數(shù)據(jù)和所述手掌運(yùn)動(dòng)姿態(tài)數(shù)據(jù)判斷所述用戶(hù)的手勢(shì)為靜態(tài)手勢(shì)或動(dòng)態(tài)手勢(shì)，其中，所述靜態(tài)手勢(shì)為手指靜止、手掌靜止的手勢(shì)，所述動(dòng)態(tài)手勢(shì)為手指靜止、手掌運(yùn)動(dòng)的手勢(shì)。