[發(fā)明專利]人體手勢字母的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010626967.6
• 申請日: 2020-07-02
• 公開（公告）號: CN111857334A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 張衛(wèi)東;陳斌;張國慶
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346;G06K9/00;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種人體手勢字母的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，根據(jù)手語使用者手語習(xí)慣采用全新的運(yùn)動(dòng)信息與圖像信息結(jié)合的識(shí)別方式進(jìn)行文字的輸入，符合標(biāo)準(zhǔn)的手語動(dòng)作標(biāo)準(zhǔn)，操作簡單使用方便。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別技術(shù)與可穿戴技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于識(shí)別人體手勢字母的手上穿戴式手勢識(shí)別裝置及方法，該方法還可以通過擴(kuò)大樣本特征標(biāo)示庫的方式進(jìn)一步識(shí)別出手語單詞等含義豐富的手勢。

背景技術(shù)

智能穿戴設(shè)備在目前工程界是個(gè)熱門，尤其是提供人機(jī)交互的智能穿戴設(shè)備更是受到人們的追捧。從谷歌眼鏡的推出到第一支智能手表的發(fā)布，到目前為止各種各樣功能的可穿戴式設(shè)備進(jìn)入人們的生活，可是目前可穿戴設(shè)備中針對文字輸入方式，尤其是中文輸入提供的方式卻十分有限。現(xiàn)在主要是三種輸入方式：語音輸入、觸摸屏等屏幕鍵盤或物理鍵盤輸入還有比較熱門的手勢輸入。

對比以上三種輸入方式，語音輸入對使用群體和使用的環(huán)境有一定的限制，日常說不出話只能用手語的聾啞人等語言功能障礙群體就在使用上大大受阻，而且在有噪聲的環(huán)境中準(zhǔn)確率不高，受環(huán)境制約程度較大，且聲音傳播會(huì)有一定的范圍不能很好的保護(hù)使用者隱私。傳統(tǒng)的物理鍵盤或者屏幕鍵盤則受到物理體積的制約，物理鍵盤體積較大，攜帶不便，而屏幕鍵盤使用上受到屏幕體積的制約，如果屏幕體積小點(diǎn)擊正確率則大大降低。而目前的肢體識(shí)別技術(shù)較多應(yīng)用在大范圍的姿態(tài)動(dòng)作捕捉識(shí)別，多用在肢體摔倒報(bào)警及體感游戲虛擬娛樂等大范圍肢體動(dòng)作捕捉上，目前其中唯一一個(gè)基于文本輸入的產(chǎn)品是Ring，其原理是在一個(gè)手指上放置傳感器，用這一個(gè)手指連續(xù)筆畫寫的方式輸入英文，因?yàn)橛⑽氖謱懫饋砉P畫少，而中文筆畫較為復(fù)雜，它的基于連續(xù)式手寫方式進(jìn)行中文輸入實(shí)際上很難實(shí)現(xiàn)。

在目前還沒有出現(xiàn)一款合適的針對中文文字輸入的可穿戴智能設(shè)備。

發(fā)明內(nèi)容

本發(fā)明針對上述現(xiàn)有技術(shù)存在的缺陷，提出一種人體手勢字母的識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，根據(jù)手語使用者手語習(xí)慣采用全新的運(yùn)動(dòng)信息與圖像信息結(jié)合的識(shí)別方式進(jìn)行文字的輸入，符合標(biāo)準(zhǔn)的手語動(dòng)作標(biāo)準(zhǔn)，操作簡單使用方便。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

本發(fā)明涉及一種人體手勢字母的識(shí)別方法，包括以下步驟：

1.采用柔性可穿戴捕捉設(shè)備與圖像捕捉設(shè)備相結(jié)合的方式進(jìn)行細(xì)節(jié)動(dòng)作采集；

2.通過將微型傳感器安裝在半裸手套上進(jìn)行穿戴的方式將傳感器依附在手部；

3.通過安裝在手部各個(gè)關(guān)節(jié)和手背部的微型電子定位器和陀螺儀實(shí)現(xiàn)手部姿態(tài)細(xì)節(jié)的采集；

4.通過安裝在身體外部一定距離的攝像頭完成對使用者身體部位的圖像檢測；

5.通過柔性電路和微型嵌入式設(shè)備實(shí)現(xiàn)穿戴方便舒適；

6.通過搭建在嵌入式設(shè)備上的語音播報(bào)模塊和液晶屏實(shí)現(xiàn)識(shí)別手語的播報(bào)與顯示；

7.通過外部GPU設(shè)備處理攝像頭傳輸?shù)膶?shí)時(shí)圖像；

8.通過藍(lán)牙模塊實(shí)現(xiàn)可穿戴設(shè)別與GPU設(shè)備之間的數(shù)據(jù)傳輸；

9.處理器內(nèi)部會(huì)對采集圖像首先運(yùn)用多種圖像處理算法進(jìn)行預(yù)處理提高運(yùn)算的效率；

10.處理器內(nèi)部的算法會(huì)融合圖像和多傳感器的數(shù)據(jù)進(jìn)行手部運(yùn)動(dòng)信息的處理，根據(jù)訓(xùn)練的具有九軸十六點(diǎn)的手部映射骨骼輪廓決策模型進(jìn)行手語結(jié)果匹配。