[發(fā)明專利]一種智能聽障人士與健全人進(jìn)行人機(jī)交互的系統(tǒng)及其工作方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110276536.6
• 申請(qǐng)日: 2021-03-15
• 公開（公告）號(hào): CN113111156B
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 付強(qiáng);傅佳軍
• 申請(qǐng)（專利權(quán)）人: 天津理工大學(xué)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/33;G06F16/338;G06N3/04;G06N3/08
• 代理公司: 天津市君硯知識(shí)產(chǎn)權(quán)代理有限公司 12239
• 代理人: 程昊

1.一種智能聽障人士與健全人進(jìn)行人機(jī)交互的方法，其特征在于它包括兩種模式，即聽障人士與健全人進(jìn)行交流時(shí)的模式A和健全人與聽障人士進(jìn)行交流時(shí)的模式B；其中，所述模式A作為聽障人士與健全人交流方式，聽障人士為表述者，健全人為傾聽者；所述模式B作為健全人與聽障人士交流方式，健全人為表述者，聽障人士為傾聽者；

所述模式A包括以下步驟：

(A-1)聽障人士穿戴數(shù)據(jù)采集設(shè)備單元比劃手勢(shì)，將該手勢(shì)數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集以構(gòu)建BP神經(jīng)網(wǎng)絡(luò)分類模型；由安裝在聽障人士手指的彎曲傳感器采集聽障人士手指的彎曲程度信號(hào)，即模擬電壓量，發(fā)送給控制器模塊，與手背和前臂的姿態(tài)傳感器通過UART進(jìn)行串口通訊得到的3軸歐拉角數(shù)據(jù)一起傳輸給云端即手勢(shì)數(shù)據(jù)信號(hào)，分別如式1-1和式1-2所示：

其中，V_our是彎曲傳感器分到的電壓量，V_in是控制器模塊的5v輸出電壓，R₁是彎曲傳感器的阻值，R₂是與R₁并聯(lián)的電阻；a₀為彎曲傳感器在控制器模塊的模擬口輸出的模擬電壓量，當(dāng)彎曲傳感器的彎曲角度變大，彎曲傳感器的阻值將變小，彎曲傳感器所分到的模擬電壓量則減小，而a₀也會(huì)變小；

(A-2)將(A-1)獲取到的能夠描述聽障人士手語動(dòng)作的手勢(shì)數(shù)據(jù)信號(hào)通過無線網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)器；

(A-3)云端服務(wù)器利用步驟(A-1)獲得的手勢(shì)數(shù)據(jù)信號(hào)以及該信號(hào)所對(duì)應(yīng)的手勢(shì)含義作為訓(xùn)練集數(shù)據(jù)并進(jìn)行訓(xùn)練，從而得到BP神經(jīng)網(wǎng)絡(luò)分類模型；以手勢(shì)數(shù)據(jù)信號(hào)作為BP神經(jīng)網(wǎng)絡(luò)分類模型的輸入，輸出該手勢(shì)數(shù)據(jù)信號(hào)所對(duì)應(yīng)的手勢(shì)含義，不斷重復(fù)該步驟，完成對(duì)BP神經(jīng)網(wǎng)絡(luò)分類模型的訓(xùn)練；神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是使網(wǎng)絡(luò)的輸出值能夠盡可能接近真實(shí)值，所以就可以通過比較當(dāng)前網(wǎng)絡(luò)的預(yù)測(cè)值和真正想要的目標(biāo)值，再根據(jù)兩者之間的差值來對(duì)每一層的權(quán)重矩陣進(jìn)行調(diào)整更新：假如網(wǎng)絡(luò)的預(yù)測(cè)值偏高，就調(diào)整權(quán)重讓它預(yù)測(cè)低一些，假如網(wǎng)絡(luò)的預(yù)測(cè)值偏低，就調(diào)整權(quán)重讓它預(yù)測(cè)高一些，通過不斷的調(diào)整，直至能夠預(yù)測(cè)出目標(biāo)值；

(A-4)聽障人士戴上數(shù)據(jù)采集設(shè)備單元比劃手勢(shì)，實(shí)時(shí)采集手勢(shì)數(shù)據(jù)信號(hào)；將得到的手勢(shì)數(shù)據(jù)信號(hào)輸入至步驟(A-3)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)分類模型，作為其輸入信號(hào)，由此得到的識(shí)別結(jié)果即為手勢(shì)數(shù)據(jù)信號(hào)所對(duì)應(yīng)的手勢(shì)含義；

(A-6)由云端BP神經(jīng)網(wǎng)絡(luò)模塊將手勢(shì)數(shù)據(jù)信號(hào)所對(duì)應(yīng)的手勢(shì)含義通過無線網(wǎng)絡(luò)傳輸?shù)浇∪说氖謾C(jī)上，此時(shí)，健全人的手機(jī)會(huì)發(fā)出與聽障人士的手勢(shì)相對(duì)應(yīng)的語音，完成聽障人士與健全人的溝通；

所述模式B包括以下步驟：

(B-1)由手機(jī)對(duì)健全人發(fā)出的語音進(jìn)行識(shí)別，并將識(shí)別結(jié)果對(duì)應(yīng)的聽障人士雙手的手勢(shì)數(shù)據(jù)信號(hào)通過無線網(wǎng)絡(luò)上傳到云端服務(wù)器；

所述步驟(B-1)中的語音識(shí)別功能是直接調(diào)用百度語音翻譯平臺(tái)開放的SDK來實(shí)現(xiàn)；

所述步驟(B-1)中對(duì)應(yīng)的聽障人士雙手的手勢(shì)數(shù)據(jù)信號(hào)是與語音相符合的人體22位數(shù)據(jù)，其中，前11位數(shù)據(jù)的前5位代表人體模型右手手指的彎曲角度，后6位分別是人體模型右手腕關(guān)節(jié)骨骼和右手肘關(guān)節(jié)骨骼的x、y、z軸空間角度，分別代表云端unity模塊中人體模型腕關(guān)節(jié)骨骼和肘關(guān)節(jié)骨骼空間角度，它們的角度不同會(huì)導(dǎo)致云端unity模塊中人體模型的手指手掌和前臂的位置發(fā)生變化，后11位數(shù)據(jù)的前5位代表人體模型左手手指的彎曲角度，后6位分別是人體模型左手腕關(guān)節(jié)骨骼和右手肘關(guān)節(jié)骨骼的x、y、z軸空間角度；這22位數(shù)據(jù)在云端unity模塊接收到以后，可以控制云端unity模塊中的人體模型做出對(duì)應(yīng)動(dòng)作；

(B-2)在云端服務(wù)器中，根據(jù)步驟(B-1)得到的手勢(shì)數(shù)據(jù)信號(hào)，由云端unity模塊接收到此信號(hào)，在云端unity模塊中添加C#腳本來控制云端unity模塊中的人體模型做出與語音相對(duì)應(yīng)的手勢(shì)動(dòng)畫，即手勢(shì)數(shù)據(jù)信號(hào)傳到云端unity模塊中，C#腳本直接將手勢(shì)數(shù)據(jù)信號(hào)控制人體模型動(dòng)作；

(B-3)將步驟(B-2)中的到的手勢(shì)動(dòng)畫通過無線網(wǎng)絡(luò)由云端服務(wù)器傳送到聽障人士的手機(jī)上，使聽障人士能夠根據(jù)看到的手勢(shì)動(dòng)畫實(shí)現(xiàn)與健全人的交流。