[發(fā)明專利]人體手勢(shì)字母的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010626967.6
• 申請(qǐng)日: 2020-07-02
• 公開(kāi)（公告）號(hào): CN111857334A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 張衛(wèi)東;陳斌;張國(guó)慶
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/0346;G06K9/00;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種人體手勢(shì)字母的識(shí)別方法，其特征在于，包括以下步驟：

步驟1)采用柔性可穿戴捕捉設(shè)備與圖像捕捉設(shè)備相結(jié)合的方式進(jìn)行細(xì)節(jié)動(dòng)作采集；

步驟2)通過(guò)將微型傳感器安裝在半裸手套上進(jìn)行穿戴的方式將傳感器依附在手部；

步驟3)通過(guò)安裝在手部各個(gè)關(guān)節(jié)和手背部的微型電子定位器和陀螺儀實(shí)現(xiàn)手部姿態(tài)細(xì)節(jié)的采集；

步驟4)通過(guò)安裝在身體外部一定距離的攝像頭完成對(duì)使用者身體部位的圖像檢測(cè)；

步驟5)通過(guò)柔性電路和微型嵌入式設(shè)備實(shí)現(xiàn)穿戴方便舒適；

步驟6)通過(guò)搭建在嵌入式設(shè)備上的語(yǔ)音播報(bào)模塊和液晶屏實(shí)現(xiàn)識(shí)別手語(yǔ)的播報(bào)與顯示；

步驟7)通過(guò)外部GPU設(shè)備處理攝像頭傳輸?shù)膶?shí)時(shí)圖像；

步驟8)通過(guò)藍(lán)牙模塊實(shí)現(xiàn)可穿戴設(shè)別與GPU設(shè)備之間的數(shù)據(jù)傳輸；

步驟9)處理器內(nèi)部會(huì)對(duì)采集圖像首先運(yùn)用多種圖像處理算法進(jìn)行預(yù)處理提高運(yùn)算的效率；

步驟10)處理器內(nèi)部的算法會(huì)融合圖像和多傳感器的數(shù)據(jù)進(jìn)行手部運(yùn)動(dòng)信息的處理，根據(jù)訓(xùn)練的具有九軸十六點(diǎn)的手部映射骨骼輪廓決策模型進(jìn)行手語(yǔ)結(jié)果匹配。

2.一種實(shí)現(xiàn)權(quán)利要求1所述方法的人體手勢(shì)字母的識(shí)別裝置，其特征在于，包括：電源設(shè)備、圖像采集設(shè)備、內(nèi)置GPU服務(wù)器的核心處理器的外部GPU設(shè)備和內(nèi)置陀螺儀和電子定位傳感器、顯示語(yǔ)音播報(bào)模塊和藍(lán)牙模塊的手勢(shì)終端設(shè)備，其中：圖像采集設(shè)備采集包含使用者的人體軀干信息和手勢(shì)狀態(tài)信息的視頻數(shù)據(jù)并輸出至核心處理器，核心處理器中的GPU服務(wù)器從視頻數(shù)據(jù)中提取出手勢(shì)信息融合可穿戴部分傳來(lái)的關(guān)鍵關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，與標(biāo)示特征庫(kù)中的樣本匹配，進(jìn)一步識(shí)別出相應(yīng)的手勢(shì)字母經(jīng)過(guò)最后篩選后通過(guò)語(yǔ)音和顯示模塊進(jìn)行播報(bào)顯示反饋。

3.根據(jù)權(quán)利要求2所述的識(shí)別裝置，其特征是，所述的識(shí)別，通過(guò)多種圖像算法對(duì)采集圖像進(jìn)行預(yù)處理并融合手勢(shì)狀態(tài)運(yùn)動(dòng)信息得到手勢(shì)所指方位，從而識(shí)別出所表達(dá)的手勢(shì)信息，并將最終識(shí)別出的手勢(shì)字母輸出至聲音播放和顯示裝置進(jìn)行聲音和顯示反饋；

所述的外部設(shè)備包括聲音播放設(shè)備和/或圖像顯示設(shè)備，用于手勢(shì)識(shí)別信息的反饋；

所述的電子定位傳感器通過(guò)針織物依附于手指各個(gè)關(guān)節(jié)處用于采集手指關(guān)節(jié)的運(yùn)動(dòng)角度并通過(guò)藍(lán)牙模塊將整合的運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)輸出至核心GPU處理器為內(nèi)部算法提供手勢(shì)運(yùn)動(dòng)數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的識(shí)別裝置，其特征是，所述的人體手勢(shì)字母的識(shí)別裝置采用柔性電路和微型模塊化設(shè)計(jì)，排除繁多的線路走線，且每個(gè)關(guān)節(jié)可以利用微型模塊檢測(cè)運(yùn)動(dòng)信息，用柔性電路按照手勢(shì)運(yùn)動(dòng)趨勢(shì)相連接各個(gè)微型模塊，使得穿戴起來(lái)沒(méi)有較大的束縛力，手套也是采用的半裸式粘貼設(shè)計(jì)，只有關(guān)節(jié)處需要依附傳感器的部分才會(huì)有針織物粘貼這使得該設(shè)備穿戴起來(lái)沒(méi)有束縛力。

5.根據(jù)權(quán)利要求2所述的識(shí)別裝置，其特征是，所述的手部運(yùn)動(dòng)信息的處理是指：以人體手勢(shì)字母的樣本圖像作為樣本數(shù)據(jù)，首先運(yùn)用OPENCV庫(kù)內(nèi)的內(nèi)置函數(shù)進(jìn)行圖像的預(yù)處理，采用改進(jìn)的OPENPOSE人體姿態(tài)檢測(cè)算法和手語(yǔ)關(guān)節(jié)各個(gè)運(yùn)動(dòng)傳感器的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行算法融合，訓(xùn)練出具有九軸十六點(diǎn)的手部映射骨骼輪廓決策模型，根據(jù)實(shí)時(shí)傳入的融合數(shù)據(jù)生成手部各個(gè)關(guān)節(jié)鏈角和指向的數(shù)據(jù)以構(gòu)建實(shí)時(shí)手部模型，與決策模型內(nèi)各個(gè)手語(yǔ)生成的特定手語(yǔ)姿態(tài)的決策數(shù)據(jù)進(jìn)行匹配。

6.根據(jù)權(quán)利要求2所述的識(shí)別裝置，其特征是，所述的識(shí)別，利用改進(jìn)的OPENPOSE姿態(tài)算法檢測(cè)出的融合運(yùn)動(dòng)信息的手勢(shì)輪廓，該改進(jìn)算法結(jié)合手勢(shì)可穿戴部分提取出的關(guān)節(jié)運(yùn)動(dòng)關(guān)節(jié)的數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別，該運(yùn)動(dòng)信息包括選取的16個(gè)關(guān)鍵點(diǎn)的角度、加速度信息，改進(jìn)的OPENPOSE姿態(tài)識(shí)別算法會(huì)對(duì)置信度高于0.8的識(shí)別手勢(shì)進(jìn)行記錄，與系統(tǒng)文件內(nèi)特征標(biāo)識(shí)手勢(shì)模型通過(guò)KNN算法進(jìn)行匹配，最終的到匹配的特征數(shù)據(jù)，最后輸出播報(bào)顯示出識(shí)別出的手勢(shì)代表。