[發(fā)明專利]一種手語(yǔ)識(shí)別和翻譯方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011356115.6
• 申請(qǐng)日: 2020-11-26
• 公開(kāi)（公告）號(hào): CN112487951B
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 尹啟坊;李凌;劉云云;辜嘉
• 申請(qǐng)（專利權(quán)）人: 深圳市熱麗泰和生命科技有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F40/58
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明屬于手語(yǔ)識(shí)別和翻譯技術(shù)領(lǐng)域，尤其公開(kāi)了一種手語(yǔ)識(shí)別和翻譯方法，現(xiàn)提出如下方案，包括特征提取模塊、序列學(xué)習(xí)模塊、損失優(yōu)化模塊和解碼模塊，所述特征提取模塊主要負(fù)責(zé)先后提取每個(gè)視頻幀的靜態(tài)特征和相鄰幀的連續(xù)特征。本發(fā)明添加了關(guān)鍵點(diǎn)特征學(xué)習(xí)部分選擇的關(guān)鍵點(diǎn)有8個(gè)，其中額頭關(guān)鍵點(diǎn)和脖子關(guān)鍵點(diǎn)用來(lái)檢測(cè)頭部運(yùn)動(dòng)，提高了特定場(chǎng)景下的手語(yǔ)翻譯的精度。本發(fā)明聯(lián)合優(yōu)化損失策略、關(guān)鍵點(diǎn)損失優(yōu)化函數(shù)和CTC損失函數(shù)相加作為最終損失函數(shù)的損失優(yōu)化策略，可以直接安裝在手機(jī)上實(shí)時(shí)運(yùn)行，這將不僅僅可以提高產(chǎn)品的易用性，還可以大大減小手語(yǔ)翻譯的應(yīng)用和推廣成本。

技術(shù)領(lǐng)域

本發(fā)明涉及手語(yǔ)識(shí)別和翻譯技術(shù)領(lǐng)域，尤其涉及一種手語(yǔ)識(shí)別和翻譯方法。

背景技術(shù)

手語(yǔ)是一種聾啞人執(zhí)行的肢體語(yǔ)言表達(dá)方式，由于其本身的局部性、細(xì)節(jié)性和復(fù)雜性，同時(shí)又受到光照、背景等影響，使用傳統(tǒng)模式識(shí)別或機(jī)器學(xué)習(xí)方法所能達(dá)到的精度與魯棒性已達(dá)到瓶頸期，往往局限于靜態(tài)手勢(shì)識(shí)別、單詞級(jí)手勢(shì)識(shí)別或粗粒度的動(dòng)態(tài)手勢(shì)識(shí)別，而現(xiàn)存的基于深度學(xué)習(xí)的方法往往模型龐大，必須依托專用物理設(shè)備才能運(yùn)行，且實(shí)時(shí)性低、易用性差、價(jià)格昂貴。

針對(duì)前述問(wèn)題，我們發(fā)明了此款連續(xù)型手語(yǔ)翻譯程序。這款手語(yǔ)翻譯程序可以對(duì)較復(fù)雜場(chǎng)景下的手語(yǔ)手勢(shì)實(shí)時(shí)翻譯，不僅保證了翻譯的精度，還還可以在安裝在手機(jī)等輕量型終端中。該手語(yǔ)識(shí)別和翻譯技術(shù)可用于手語(yǔ)翻譯、日常交流、研發(fā)手語(yǔ)教學(xué)機(jī)器人，促進(jìn)手語(yǔ)教學(xué)、培訓(xùn)和推廣，可以拓寬到其他手勢(shì)指令相關(guān)的領(lǐng)域，如交警手勢(shì)識(shí)別、軍事手勢(shì)識(shí)別及智能家電控制等。

根據(jù)手語(yǔ)獲取方式的不同，分為基于數(shù)據(jù)手套和基于視覺(jué)的手語(yǔ)識(shí)別，前者可以實(shí)時(shí)采集手勢(shì)的3維運(yùn)動(dòng)信息和時(shí)序變化，然后應(yīng)用識(shí)別算法進(jìn)行處理，識(shí)別速度快，準(zhǔn)確率高，但是設(shè)備復(fù)雜，價(jià)格昂貴，且對(duì)操作者有約束，佩戴不方便，因此基于視覺(jué)的手語(yǔ)識(shí)別成為主流。

目前基于視覺(jué)的手語(yǔ)識(shí)別技術(shù)的主流思路一般是先通過(guò)卷積網(wǎng)絡(luò)提取特征，再用RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò))類神經(jīng)網(wǎng)絡(luò)解碼序列，最后用CTC(Connectionist Temporal Classification,連接主義時(shí)間分類器)等作為損失函數(shù)對(duì)模型訓(xùn)練優(yōu)化。《手語(yǔ)識(shí)別方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備》是深圳騰訊公司在2019年7月申請(qǐng)的一項(xiàng)專利，已經(jīng)公布的專利號(hào)201910650159.0，該方法的流程大致是這樣的：獲取待識(shí)別的手語(yǔ)視頻，從手語(yǔ)視頻的各幀圖像中提取手勢(shì)特征，提取手語(yǔ)視頻的各幀圖像的手勢(shì)變化特征，從手勢(shì)特征與手語(yǔ)變化特征之間的融合特征中提取手語(yǔ)詞信息，按照手語(yǔ)詞信息對(duì)應(yīng)的語(yǔ)境信息，將手語(yǔ)詞信息組合成手語(yǔ)語(yǔ)句。該方法使用的模型框架：2DCNN+3DCNN、LSTM、BLSTM(Bidirectional Long short-term Memory RNN)和CTC。《Spatial-Temporal Multi-Cue Network for Continuous Sign Language Recognition》(用于手語(yǔ)識(shí)別的多線索網(wǎng)絡(luò))是中國(guó)科學(xué)技術(shù)大學(xué)在2020年二月發(fā)表的一篇學(xué)術(shù)論文，該方法的特點(diǎn)是對(duì)手語(yǔ)視頻的空間和時(shí)間特征先后建模，并融合了全幀、手部、位姿和臉部等四個(gè)線索的特征，然后利用BLSTM和CTC進(jìn)行序列學(xué)習(xí)。該模型同樣達(dá)到了不錯(cuò)的效果。但是以上是兩個(gè)手語(yǔ)識(shí)別領(lǐng)域的最新技術(shù)，值得注意的是，這兩個(gè)技術(shù)模型相對(duì)龐大，對(duì)設(shè)備的算力要求較高。為此，本發(fā)明提出一種手語(yǔ)識(shí)別和翻譯方法來(lái)解決以上問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決背景技術(shù)中存在的缺點(diǎn)，而提出的一種手語(yǔ)識(shí)別和翻譯方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：