[發(fā)明專利]基于混合神經(jīng)網(wǎng)絡(luò)的手勢(shì)動(dòng)作識(shí)別互動(dòng)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110361015.0
• 申請(qǐng)日: 2021-04-02
• 公開（公告）號(hào): CN113052112B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 王立軍;于霄洋;李爭(zhēng)平
• 申請(qǐng)（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/40;G06V10/82;G06V10/778;G06V10/764;G06N3/045;G06N3/08;G06N3/0464;G06N3/044
• 代理公司: 鹽城亭遠(yuǎn)專利代理事務(wù)所(普通合伙) 32486
• 代理人: 郭超

本發(fā)明公開了基于3D?CNN和RNN混合神經(jīng)網(wǎng)絡(luò)的投影手勢(shì)動(dòng)作識(shí)別互動(dòng)方法及系統(tǒng)，首先通過深度相機(jī)獲取手部的深度圖像視頻、彩色圖像視頻、和紅外圖像視頻，將這些視頻進(jìn)行進(jìn)行格式的統(tǒng)一，后將這些視頻文件分組送入3DCNN(三維卷積神經(jīng)網(wǎng)絡(luò))的網(wǎng)絡(luò)進(jìn)行視頻的動(dòng)作學(xué)習(xí)后輸出圖像特征，后需要用RNN(遞歸神經(jīng)網(wǎng)絡(luò))網(wǎng)絡(luò)進(jìn)行循環(huán)訓(xùn)練，最終輸出識(shí)別結(jié)果。本發(fā)明能夠得到手部信息的深度信息，能夠提升識(shí)別的準(zhǔn)確率，在自己搭建的數(shù)據(jù)集上達(dá)到了最先進(jìn)的性能，結(jié)合3DCNN和RNN混合神經(jīng)網(wǎng)絡(luò)，融合效果較以往CNN+RNN的算法效果有較大提升。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像識(shí)別技術(shù)領(lǐng)域，涉及基于混合神經(jīng)網(wǎng)絡(luò)的手勢(shì)動(dòng)作識(shí)別互動(dòng)系統(tǒng)及方法。

背景技術(shù)

近年來，隨著人工智能的崛起，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)卷起了計(jì)算機(jī)的浪潮。人機(jī)交互已經(jīng)成為如今機(jī)器視覺領(lǐng)域研究的重中之重。帶有人機(jī)交互功能的智能設(shè)備在市場(chǎng)中飛速發(fā)展。手勢(shì)作為人們?nèi)粘Ｉ钪凶畛Ｓ玫娜梭w交互方式，已經(jīng)被應(yīng)用到了許多的智能設(shè)備上。

手勢(shì)和手勢(shì)是人類交流的一種常見形式。因此，人類使用這種交流方式與機(jī)器進(jìn)行互動(dòng)也是很自然的。例如，簡(jiǎn)單交互的人機(jī)交互可以提高汽車的舒適性和安全性；簡(jiǎn)單的手勢(shì)交互可以更方便的進(jìn)行智能家居的交互；高識(shí)別精度的手勢(shì)識(shí)別可以讓VR\AR手勢(shì)識(shí)別運(yùn)行的更加流暢。

手勢(shì)識(shí)別又被分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。靜態(tài)手勢(shì)識(shí)別訓(xùn)練的樣本為靜態(tài)的圖片。動(dòng)態(tài)的手勢(shì)識(shí)別訓(xùn)練的樣本為動(dòng)態(tài)的手部動(dòng)作，即在實(shí)時(shí)的視頻中檢測(cè)到手部進(jìn)行的動(dòng)作。手勢(shì)識(shí)別是解釋人手動(dòng)作的意義。現(xiàn)如今手勢(shì)識(shí)別系統(tǒng)中，許多研究人員已經(jīng)提出了各種基于如深度相機(jī)、彩色相機(jī)、距離傳感器、可穿戴慣性傳感器或其他模態(tài)類型傳感器數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別技術(shù)。基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別中，有一部分是靜態(tài)手勢(shì)識(shí)別，這些方法只能還是別靜態(tài)的手勢(shì)，做手勢(shì)識(shí)別時(shí)會(huì)顯得不自然。在用于人機(jī)交互的真實(shí)系統(tǒng)中，動(dòng)態(tài)手勢(shì)的自動(dòng)檢測(cè)和分類具有挑戰(zhàn)性，因?yàn)?1)人們?cè)谧鍪謩?shì)、識(shí)別和分類方面存在很大的差異；(2)系統(tǒng)必須在線工作，以避免在執(zhí)行手勢(shì)和分類之間出現(xiàn)明顯的延遲。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種基于3D?CNN和RNN混合神經(jīng)網(wǎng)絡(luò)的投影手勢(shì)動(dòng)作識(shí)別互動(dòng)方法及系統(tǒng)，首先通過深度相機(jī)獲取手部的深度圖像視頻、彩色圖像視頻、和紅外圖像視頻，將這些視頻進(jìn)行進(jìn)行格式的統(tǒng)一，后將這些視頻文件分組送入3DCNN(三維卷積神經(jīng)網(wǎng)絡(luò))的網(wǎng)絡(luò)進(jìn)行視頻的動(dòng)作學(xué)習(xí)后輸出圖像特征，后需要用RNN(遞歸神經(jīng)網(wǎng)絡(luò))網(wǎng)絡(luò)進(jìn)行循環(huán)訓(xùn)練，最終輸出識(shí)別結(jié)果。

為了達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

基于3D?CNN和RNN混合神經(jīng)網(wǎng)絡(luò)的投影手勢(shì)動(dòng)作識(shí)別方法，包括如下步驟：

步驟一，圖像視頻數(shù)據(jù)集采集

采用深度相機(jī)采集手部數(shù)據(jù)，創(chuàng)建數(shù)據(jù)集；

在模型輸入時(shí)將RGB三通道的模型輸入，轉(zhuǎn)換為了RGB+HSV六通道的模型輸入，HSV分別代表色調(diào)、飽和度、明度，其表達(dá)式如下：

max＝max(R/255,G/255,B/255)?(1)

min＝min(R/255,G/255,B/255)?(2)

（3）

V＝max?(5)

其中R、G、B為每幀圖像的紅綠藍(lán)分量數(shù)值；

步驟二，采用三維卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集中的視頻數(shù)據(jù)進(jìn)行視頻學(xué)習(xí)，輸出圖像特征。

步驟三，采用遞歸神經(jīng)網(wǎng)絡(luò)對(duì)步驟二輸出的圖像特征進(jìn)行循環(huán)訓(xùn)練。

進(jìn)一步的，所述步驟一包括如下子步驟：