[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)模型的手語(yǔ)識(shí)別系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210369930.9
• 申請(qǐng)日: 2022-04-08
• 公開(kāi)（公告）號(hào): CN114863554A
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 溫遠(yuǎn)征;呂永勝;陳宗陽(yáng);沙香港;房海波;沙建軍;彭銳暉;歐陽(yáng)亞雄;汪嘉鑫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06N3/063
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)模型的手語(yǔ)識(shí)別系統(tǒng)和方法，包括圖像采集模塊、嵌入式處理平臺(tái)、顯示模塊、電源模塊、人機(jī)交互模塊。圖像采集模塊用于采集實(shí)時(shí)手語(yǔ)圖像。嵌入式處理平臺(tái)上部署已經(jīng)完成訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，在使用時(shí)手語(yǔ)圖像會(huì)輸入至卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行實(shí)時(shí)手語(yǔ)識(shí)別，并將識(shí)別結(jié)果傳輸至顯示模塊。顯示模塊用于顯示識(shí)別出的手語(yǔ)信息。人機(jī)交互模塊能夠?qū)κ终Z(yǔ)識(shí)別系統(tǒng)進(jìn)行操作，用以設(shè)置系統(tǒng)的運(yùn)行參數(shù)、調(diào)整系統(tǒng)的運(yùn)行狀態(tài)。電源模塊對(duì)組成系統(tǒng)的各硬件部分進(jìn)行供電。該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)26個(gè)英文字母手勢(shì)目標(biāo)的實(shí)時(shí)定位和識(shí)別，具有識(shí)別速度快、精度高、實(shí)時(shí)性強(qiáng)、功耗低、設(shè)備體積小、易于部署實(shí)現(xiàn)等特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)、目標(biāo)檢測(cè)識(shí)別領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)模型的手語(yǔ)識(shí)別系統(tǒng)和方法。

背景技術(shù)

手語(yǔ)源自于聽(tīng)力障礙者的交流需要，在勞動(dòng)中產(chǎn)生，隨著社會(huì)的發(fā)展而發(fā)展，并伴隨著語(yǔ)言的演化而不斷豐富與完善。手語(yǔ)包括手指語(yǔ)和手勢(shì)語(yǔ)，手指語(yǔ)是用手指的動(dòng)作和變化來(lái)代表字母，并按照拼音順序依次拼出詞語(yǔ)，手勢(shì)語(yǔ)是自然手勢(shì)和人為手勢(shì)的結(jié)合。對(duì)于聽(tīng)力障礙者而言，實(shí)現(xiàn)相互交流的語(yǔ)言工具多為手語(yǔ)，對(duì)手語(yǔ)信息的解譯和表征在交通、公安、醫(yī)務(wù)、金融、商業(yè)、旅游、社區(qū)等均具有較大的需求。學(xué)習(xí)手語(yǔ)不僅只是聽(tīng)力障礙者之間或其與常人之間的溝通需求，常人在如吵雜的車(chē)間、公共場(chǎng)所、人機(jī)交互、虛擬現(xiàn)實(shí)等環(huán)境中也有使用手語(yǔ)的要求。因此，對(duì)手語(yǔ)信息的快速、準(zhǔn)確識(shí)別，無(wú)論對(duì)聽(tīng)力障礙者而言還是促進(jìn)社會(huì)發(fā)展都具有十分重要的意義。

由于使用場(chǎng)景的特殊性，手語(yǔ)識(shí)別系統(tǒng)通常具備以下特點(diǎn)：識(shí)別快速準(zhǔn)確，能滿足實(shí)時(shí)交流需求；簡(jiǎn)潔低耗，方便攜帶和使用；設(shè)備成本低，對(duì)硬件配置沒(méi)有過(guò)高要求；功能擴(kuò)展，能夠依據(jù)實(shí)際需要增加目標(biāo)識(shí)別種類(lèi)。目前可用于手語(yǔ)識(shí)別的方法通常有兩種：傳統(tǒng)的目標(biāo)檢測(cè)識(shí)別方法和深度學(xué)習(xí)方法。Amaya和Murray等人[1]提出了基于傳統(tǒng)的主成分分析和支持向量機(jī)的靜態(tài)手語(yǔ)識(shí)別方法，用來(lái)識(shí)別英文中5個(gè)元音字母，但由于其自身效率低、擴(kuò)展性差等問(wèn)題，難以較好的滿足手語(yǔ)識(shí)別應(yīng)用需求。Aich等人[2]基于深度學(xué)習(xí)方法，在自己構(gòu)建的數(shù)據(jù)集上使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別孟加拉手語(yǔ)中的36個(gè)字符，達(dá)到了較高的準(zhǔn)確率，但其圖像背景單一，可擴(kuò)展性不高。Hasan等人[3]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)美國(guó)手語(yǔ)字母進(jìn)行識(shí)別，識(shí)別率良好，但該算法復(fù)雜度較高，移動(dòng)設(shè)備的運(yùn)算性能難以滿足其要求。由上述可知，目前的手語(yǔ)識(shí)別系統(tǒng)在精度、速度以及便攜程度方面仍未有更好的解決方法。

[1]AMAYA C,MURRAY V.Real-time sign language recognition[C]//2020 IEEEXXVII International Conference on Electronics,Electrical Engineering andComputing(INTERCON).Lima,Peru,2020:1-4。

[2]D.AICH,A.AL ZUBAIR,K.M.ZUBAIR HASAN,A.D.NATH AND Z.HASAN.A deeplearning approach for recognizing Bengali character sign language[C]//202011th International Conference on Computing,Communi-cation and NetworkingTechnologies(ICCCNT),Kha-ragpur,India,2020,pp.1-5。

[3]HASAN M M,SRIZON A Y,SAYEED A,et al.Classifi-cation of signlanguage characters by applying a deep convolutional neural network[C]//20202nd International Conference on Advanced Information and CommunicationTechnology(ICAICT).Dhaka,Bangladesh,2020:434-438。

發(fā)明內(nèi)容