[發(fā)明專(zhuān)利]基于CNN-BiGRU神經(jīng)網(wǎng)絡(luò)融合的手語(yǔ)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110304616.8
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN112883922B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 李楨旻;祝東疆;蘇彥博;賀子珊;魯杰;彭靖宇;杜高明;王曉蕾
• 申請(qǐng)（專(zhuān)利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專(zhuān)利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于CNN-BiGRU神經(jīng)網(wǎng)絡(luò)融合的手語(yǔ)識(shí)別方法，其特征在于，包括以下步驟：

步驟1：利用深度攝像頭設(shè)備獲取由拇指位置坐標(biāo)F₁，食指位置坐標(biāo)F₂，中指位置坐標(biāo)F₃，無(wú)名指位置坐標(biāo)F₄，小拇指位置坐標(biāo)F₅，手掌中心位置P_C，手掌穩(wěn)定位置P_S，手掌俯仰角Pitch，手掌偏航角Yaw，手掌滾動(dòng)角Roll，手握球半徑r，手掌寬度P_W，掌心速度v所構(gòu)成的多種手語(yǔ)數(shù)據(jù)；且每種手語(yǔ)數(shù)據(jù)設(shè)有相應(yīng)的類(lèi)別標(biāo)簽；由多種手語(yǔ)數(shù)據(jù)及其類(lèi)別標(biāo)簽構(gòu)成手語(yǔ)數(shù)據(jù)集；

步驟2：對(duì)手語(yǔ)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理；

步驟2.1、根據(jù)所述手語(yǔ)數(shù)據(jù)集計(jì)算得到手握球相對(duì)半徑S、指尖掌心距離D、掌心相對(duì)速度V、絕對(duì)三維手掌位置標(biāo)準(zhǔn)差P、指間距離L并作為特征數(shù)據(jù)集；

利用式(1)得到手握球相對(duì)半徑大小S：

利用式(2)、式(3)和式(4)分別得到x方向的掌心相對(duì)速度V_x、y方向的掌心相對(duì)速度V_y和z方向的掌心相對(duì)速度V_z：

式(2)-式(4)中，v_k表示在k方向上的掌心速度；

步驟2.1.4、利用式(5)得到絕對(duì)三維手掌位置的標(biāo)準(zhǔn)差P：

P＝P_C-P_S (5)

步驟2.2、采用零-均值規(guī)范化的方法，對(duì)所述特征數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理，得到預(yù)處理后的特征數(shù)據(jù)集；

步驟2.3、對(duì)預(yù)處理后的特征數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，得到增強(qiáng)后的特征數(shù)據(jù)集；

步驟3：將增強(qiáng)后的特征數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

步驟4：建立一維CNN和BiGRU融合的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型；所述CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型包括：SpatialDropout層、一維CNN網(wǎng)絡(luò)、BiGRU網(wǎng)絡(luò)、全連接層；所述一維CNN網(wǎng)絡(luò)由一維卷積層和一維最大池化層組成；所述BiGRU網(wǎng)絡(luò)結(jié)構(gòu)是由一個(gè)前向傳播的GRU單元和一個(gè)后向傳播的GRU單元組合而成；

步驟4.1、設(shè)置超參數(shù)，并初始化CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，從而得到當(dāng)前網(wǎng)絡(luò)模型；

步驟4.2、所述訓(xùn)練數(shù)據(jù)集輸入所述當(dāng)前網(wǎng)絡(luò)模型中的SpatialDropout層中并經(jīng)過(guò)一維CNN網(wǎng)絡(luò)的卷積和最大池化操作，得到初次手語(yǔ)特征；所述初次手語(yǔ)特征經(jīng)過(guò)BiGRU網(wǎng)絡(luò)后，得到手語(yǔ)特征的時(shí)序信息并經(jīng)過(guò)全連接層輸出每種手語(yǔ)類(lèi)別概率；

步驟4.3、利用優(yōu)化算法將所述手語(yǔ)類(lèi)別概率反向傳播至當(dāng)前網(wǎng)絡(luò)模型，從而更新各層網(wǎng)絡(luò)模型參數(shù)，并得到更新后的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型；

步驟4.4、利用驗(yàn)證數(shù)據(jù)集驗(yàn)證更新后的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率，從而判斷更新后的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型是否收斂，若收斂，則將更新后的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型作為當(dāng)前超參數(shù)設(shè)置下的最優(yōu)手語(yǔ)分類(lèi)模型，否則，將更新后的CNN-BiGRU深度神經(jīng)網(wǎng)絡(luò)模型作為當(dāng)前網(wǎng)絡(luò)模型，并返回步驟4.2；

步驟4.5、按照步驟4.1-步驟4.4的過(guò)程，得到不同超參數(shù)下的最優(yōu)手語(yǔ)分類(lèi)模型，并比較其在測(cè)試數(shù)據(jù)集上準(zhǔn)確率，從而選擇準(zhǔn)確率最高的最優(yōu)手語(yǔ)分類(lèi)模型作為最終用于識(shí)別手語(yǔ)的模型。

2.根據(jù)權(quán)利要求1所述的基于CNN-BiGRU神經(jīng)網(wǎng)絡(luò)融合的手語(yǔ)識(shí)別方法，其特征在于，所述步驟2.1包括：

步驟2.1.1、利用式(6)得到指尖掌心距離D：

式(6)中，F(xiàn)_ix表示第i個(gè)手指位置坐標(biāo)中x方向的坐標(biāo)值，F(xiàn)_iy表示第i個(gè)手指位置坐標(biāo)中y方向的坐標(biāo)值，F(xiàn)_iz表示第i個(gè)手指位置坐標(biāo)中z方向的坐標(biāo)值，P_Cx表示手掌中心位置坐標(biāo)中x方向的坐標(biāo)值，P_Cy表示手掌中心位置坐標(biāo)中y方向的坐標(biāo)值，P_Cz表示手掌中心位置坐標(biāo)中z方向的坐標(biāo)值，且i＝1、2、3、4、5分別代表拇指、食指、中指、無(wú)名指、小拇指；

步驟2.1.2、利用式(7)得到指尖距離L：

式(7)中，F(xiàn)_jx表示第j個(gè)手指位置坐標(biāo)中x方向的坐標(biāo)值，F(xiàn)_jy表示第j個(gè)手指位置坐標(biāo)中y方向的坐標(biāo)值，F(xiàn)_jz表示第j個(gè)手指位置坐標(biāo)中z方向的坐標(biāo)值，j＝1、2、3、4、5分別代表拇指、食指、中指、無(wú)名指、小拇指，且i≠j。