[發(fā)明專利]深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法、客戶端及服務(wù)器

有效

• 申請(qǐng)?zhí)枺?/td>: 201810089087.2
• 申請(qǐng)日: 2018-01-30
• 公開(kāi)（公告）號(hào): CN108427910B
• 公開(kāi)（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 秦路
• 申請(qǐng)（專利權(quán)）人: 浙江凡聚科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G10L15/24;G06F16/535
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 陸永強(qiáng);張建

1.一種深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，包括以下方法：

A：接收并識(shí)別終端設(shè)備（1）上傳的手語(yǔ)動(dòng)作數(shù)據(jù)、面部表情數(shù)據(jù)和外部環(huán)境數(shù)據(jù)，然后結(jié)合面部表情數(shù)據(jù)和外部環(huán)境數(shù)據(jù)將手語(yǔ)動(dòng)作轉(zhuǎn)換為包含標(biāo)點(diǎn)符號(hào)的自然語(yǔ)言發(fā)送給終端設(shè)備（1）；

B：接收并識(shí)別終端設(shè)備（1）上傳的自然語(yǔ)言數(shù)據(jù)，將自然語(yǔ)言數(shù)據(jù)轉(zhuǎn)換為手語(yǔ)動(dòng)作數(shù)據(jù)，并基于手語(yǔ)動(dòng)作數(shù)據(jù)構(gòu)建動(dòng)態(tài)虛擬人物，同時(shí)對(duì)語(yǔ)音語(yǔ)言的說(shuō)話語(yǔ)氣或者文本語(yǔ)言的標(biāo)點(diǎn)符號(hào)進(jìn)行識(shí)別，然后將識(shí)別結(jié)果進(jìn)行處理后將對(duì)應(yīng)的語(yǔ)氣、標(biāo)點(diǎn)符號(hào)內(nèi)容體現(xiàn)在動(dòng)態(tài)虛擬人物的動(dòng)作和/或表情上，將動(dòng)態(tài)虛擬人物發(fā)送至給終端設(shè)備（1）以在終端設(shè)備（1）上顯示做著手語(yǔ)動(dòng)作的動(dòng)態(tài)虛擬人物；

當(dāng)接收到終端設(shè)備（1）的教學(xué)請(qǐng)求的時(shí)候，進(jìn)入教學(xué)模式，并執(zhí)行以下步驟：

接收用戶在終端設(shè)備（1）中輸入的文字?jǐn)?shù)據(jù)和/或語(yǔ)音數(shù)據(jù)，將文字?jǐn)?shù)據(jù)和/或語(yǔ)音數(shù)據(jù)轉(zhuǎn)換為手語(yǔ)動(dòng)作數(shù)據(jù)并通過(guò)動(dòng)態(tài)虛擬人物將手語(yǔ)動(dòng)作動(dòng)返回給相應(yīng)的請(qǐng)求端；

或者接收終端設(shè)備（1）拍攝到的圖片數(shù)據(jù)，識(shí)別圖片內(nèi)容并將圖片內(nèi)容轉(zhuǎn)換為手語(yǔ)動(dòng)作數(shù)據(jù)，或者同時(shí)轉(zhuǎn)換為文字?jǐn)?shù)據(jù)，并將轉(zhuǎn)換結(jié)果返回給相應(yīng)的請(qǐng)求端。

2.根據(jù)權(quán)利要求1所述的深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，在步驟A中，通過(guò)以下方法將手語(yǔ)動(dòng)作轉(zhuǎn)換為自然語(yǔ)言動(dòng)作：

將手語(yǔ)動(dòng)作數(shù)據(jù)與大數(shù)據(jù)庫(kù)中的手語(yǔ)數(shù)據(jù)庫(kù)進(jìn)行分析匹配，同時(shí)將面部表情數(shù)據(jù)與大數(shù)據(jù)庫(kù)中的面部表情數(shù)據(jù)庫(kù)進(jìn)行分析匹配和將外部環(huán)境數(shù)據(jù)根據(jù)圖片數(shù)據(jù)庫(kù)進(jìn)行分析匹配，通過(guò)對(duì)手語(yǔ)動(dòng)作數(shù)據(jù)的分析將手語(yǔ)動(dòng)作初步翻譯成待處理自然語(yǔ)言，然后結(jié)合面部表情分析結(jié)果和周圍環(huán)境分析結(jié)果將待處理自然語(yǔ)言進(jìn)行檢查、糾正以及補(bǔ)充得到完整的自然語(yǔ)言，然后將完整的自然語(yǔ)言數(shù)據(jù)發(fā)送給終端設(shè)備（1）；

在步驟B中，通過(guò)以下方法將自然語(yǔ)言轉(zhuǎn)換為手語(yǔ)動(dòng)作：

將自然語(yǔ)言數(shù)據(jù)與大數(shù)據(jù)庫(kù)中的自然語(yǔ)言數(shù)據(jù)庫(kù)進(jìn)行分析匹配并根據(jù)分析結(jié)果將自然語(yǔ)言數(shù)據(jù)轉(zhuǎn)換為手語(yǔ)動(dòng)作數(shù)據(jù)，并建立動(dòng)態(tài)虛擬人物，將手語(yǔ)動(dòng)作數(shù)據(jù)與動(dòng)態(tài)虛擬人物以對(duì)應(yīng)關(guān)系發(fā)送至終端設(shè)備（1）并使動(dòng)態(tài)虛擬人物在終端設(shè)備（1）上做出相應(yīng)的手語(yǔ)動(dòng)作。

3.根據(jù)權(quán)利要求2所述的深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，在步驟A中，面部表情數(shù)據(jù)和外部環(huán)境數(shù)據(jù)通過(guò)景深攝像頭捕捉識(shí)別得到；手語(yǔ)動(dòng)作數(shù)據(jù)通過(guò)景深攝像頭和/或體感傳感器對(duì)用戶的手語(yǔ)動(dòng)作進(jìn)行捕捉得到。

4.根據(jù)權(quán)利要求3所述的深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，所述的體感傳感器包括由套設(shè)在用戶手指關(guān)節(jié)上的若干智能織物彎曲傳感器組成的數(shù)據(jù)手套，且該數(shù)據(jù)手套通過(guò)無(wú)線模塊連接于終端設(shè)備（1）。

5.根據(jù)權(quán)利要求4所述的深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，所述的景深攝像頭被安裝在終端設(shè)備（1）中，所述的終端設(shè)備（1）包括聾啞終端設(shè)備（11）和普通終端設(shè)備（12）上，且所述的聾啞終端設(shè)備（11）和普通終端設(shè)備（12）均包括智能終端和/或虛擬現(xiàn)實(shí)設(shè)備，所述的聾啞終端設(shè)備（11）和普通終端設(shè)備（12）均連接于服務(wù)器（2），且聾啞終端設(shè)備（11）與普通終端設(shè)備（12）之間無(wú)線通訊連接。

6.根據(jù)權(quán)利要求1-5任意一項(xiàng)所述的深層神經(jīng)網(wǎng)絡(luò)AR手語(yǔ)翻譯學(xué)習(xí)方法，其特征在于，構(gòu)建深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制并基于接收到的手語(yǔ)動(dòng)作數(shù)據(jù)、面部表情數(shù)據(jù)和周圍環(huán)境數(shù)據(jù)執(zhí)行神經(jīng)網(wǎng)絡(luò)算法和學(xué)習(xí)算法以進(jìn)行神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)和將手語(yǔ)動(dòng)作與自然語(yǔ)言之間的相互轉(zhuǎn)換；

當(dāng)接收終端設(shè)備（1）上傳的完善請(qǐng)求時(shí)，進(jìn)入完善模式，并執(zhí)行以下步驟：

接收用戶上傳的手語(yǔ)動(dòng)作和對(duì)應(yīng)的文字和/或語(yǔ)音，通過(guò)檢測(cè)后將手語(yǔ)動(dòng)作和對(duì)應(yīng)的文字和/或語(yǔ)音錄入至大數(shù)據(jù)庫(kù)。