[發(fā)明專利]基于網(wǎng)絡(luò)實(shí)現(xiàn)的聽障人士與正常人士無障礙溝通在線交流系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110694216.2
• 申請(qǐng)日: 2021-06-22
• 公開（公告）號(hào): CN113438300A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 李川越;洪瑞;封心怡;蘆星宇;杜婧
• 申請(qǐng)（專利權(quán)）人: 江蘇科技大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/58;G10L15/26
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 盧霞

1.基于網(wǎng)絡(luò)實(shí)現(xiàn)的聽障人士與正常人士無障礙溝通在線交流系統(tǒng)，其特征在于：包括無聽障終端、聽障終端和云端服務(wù)器，其中：

所述無聽障終端， 用于通過網(wǎng)絡(luò)將無聽障的正常人士的語音、文字和視頻的一種或者數(shù)種數(shù)據(jù)上傳到云端服務(wù)器，并且通過網(wǎng)絡(luò)接收來自于云端服務(wù)器處理后的聽障人群的手語視頻數(shù)據(jù)轉(zhuǎn)化而來的文字和語音、視頻的任意一種或者數(shù)種數(shù)據(jù)；

所述聽障終端，用于將聽障人群的手語進(jìn)行攝像以及視頻數(shù)據(jù)上傳到云端服務(wù)器，并且通過網(wǎng)絡(luò)接收在云端服務(wù)器處理后的正常人士的語音、文字、視頻數(shù)據(jù)中的任意一種或者數(shù)種轉(zhuǎn)換而來的手語視頻；

所述云端服務(wù)器，用于存儲(chǔ)以及管理手語相關(guān)的文字、圖片、視頻數(shù)據(jù)，將從網(wǎng)絡(luò)接收到的語音轉(zhuǎn)換成文字，由文字生成其對(duì)應(yīng)的手語視頻或由接收到的文字生成其對(duì)應(yīng)的手語視頻；

所述聽障終端或云端服務(wù)器具有動(dòng)作識(shí)別系統(tǒng)、手語動(dòng)畫生成系統(tǒng)、語音識(shí)別系統(tǒng)、手語數(shù)據(jù)庫管理系統(tǒng)和手語數(shù)據(jù)庫,而且：

所述手語數(shù)據(jù)庫，用于存儲(chǔ)手語的文字、圖片、視頻數(shù)據(jù)；

所述手語數(shù)據(jù)庫管理系統(tǒng)，用于對(duì)手語數(shù)據(jù)庫中的手語文字、圖片、視頻數(shù)據(jù)進(jìn)行增加、刪除、修改以及查詢的管理操作；

所述動(dòng)作識(shí)別系統(tǒng)，用于將聽障終端或云端服務(wù)器接收到的手語視頻轉(zhuǎn)換為文字，并且通過網(wǎng)絡(luò)傳輸?shù)綗o聽障終端；

所述語音識(shí)別系統(tǒng)，用于將語音轉(zhuǎn)換為文字，并將轉(zhuǎn)換成的文字傳至本地的手語動(dòng)畫生成系統(tǒng)；

所述手語動(dòng)畫生成系統(tǒng)，用于由文字生成其對(duì)應(yīng)的手語視頻，并通過網(wǎng)絡(luò)傳輸?shù)铰犝先耸俊?/p>

2.根據(jù)權(quán)利要求1所述的在線交流系統(tǒng)，其特征在于：所述聽障終端包括：

手語攝像頭模塊，用于以攝像模式獲取聽障人士的手語視頻；

手語視頻網(wǎng)絡(luò)模塊，用于將錄制的手語視頻傳到云端服務(wù)器進(jìn)行轉(zhuǎn)化；

手語動(dòng)畫視頻播放模塊，用于將網(wǎng)絡(luò)接收到的手語視頻播放；

聽障端聊天模塊，用于通過聊天界面展示給聽障人士。

3.根據(jù)權(quán)利要求2所述的在線交流系統(tǒng)，其特征在于：所述無聽障終端包括如下模塊：

正常端數(shù)據(jù)輸入模塊，用于將正常人士輸入的語音、文字以及視頻信息錄入無聽障終端；

正常端網(wǎng)絡(luò)模塊，用于將正常端數(shù)據(jù)輸入模塊輸入的語音、文字及視頻數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)器，以及用于接收聽障終端上傳的并且經(jīng)由云端服務(wù)器轉(zhuǎn)換而來的語音、文字及視頻數(shù)據(jù)；

正常端顯示模塊，用于展示通過網(wǎng)絡(luò)從聽障終端接收到的語音、文字及視頻數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的在線交流系統(tǒng)，其特征在于：正常端網(wǎng)絡(luò)模塊和手語視頻網(wǎng)絡(luò)模塊均為5G模塊、4G模塊、WIFI模塊和藍(lán)牙模塊中的其中一種或者數(shù)種的結(jié)合。

5.根據(jù)權(quán)利要求2所述的在線交流系統(tǒng)，其特征在于：所述聽障終端還具有文字輸入模塊，用于直接通過云端服務(wù)器與正常終端進(jìn)行在線交流。

6.根據(jù)權(quán)利要求5所述的在線交流系統(tǒng)，其特征在于：所述聽障終端還具有語音輸入模塊，供給聽障人士周圍的人臨時(shí)以及緊急情況下輸入使用。

7.根據(jù)權(quán)利要求5所述的在線交流系統(tǒng)，其特征在于：所述無聽障終端與聽障終端的數(shù)量均可分別為一個(gè)或者多個(gè)。

8.基于網(wǎng)絡(luò)實(shí)現(xiàn)的聽障人士與正常人士無障礙溝通在線交流方法，其特征在于：在權(quán)利要求1-7任意一項(xiàng)的在線交流系統(tǒng)上執(zhí)行，無聽障終端和聽障終端通過網(wǎng)絡(luò)模塊和云端服務(wù)器進(jìn)行在線面對(duì)面無障礙交流。