[發(fā)明專利]一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911072525.5
• 申請(qǐng)日: 2019-11-05
• 公開(kāi)（公告）號(hào): CN110853765A
• 公開(kāi)（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 劉召義
• 申請(qǐng)（專利權(quán)）人: 江蘇安防科技有限公司
• 主分類號(hào): G16H80/00
• 分類號(hào): G16H80/00;G06F3/16;G06K9/00;G10L15/26;G10L21/0208;G10L25/63
• 代理公司: 蘇州中合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32266
• 代理人: 劉奇

本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，尤其為一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，包括用戶端、服務(wù)器端和醫(yī)生終端，所述用戶端和醫(yī)生終端均通過(guò)無(wú)線網(wǎng)絡(luò)與服務(wù)器端連接；所述用戶端用于采集用戶的視頻和語(yǔ)音數(shù)據(jù)信息并通過(guò)網(wǎng)絡(luò)傳輸給服務(wù)器端，還用于為用戶播放音視頻和進(jìn)行語(yǔ)音視頻通話。本發(fā)明能夠?qū)τ脩舻恼Z(yǔ)音和圖像都進(jìn)行采集然后綜合分析，并且將語(yǔ)音轉(zhuǎn)換為文字分析過(guò)程中，會(huì)將文字分為關(guān)鍵字進(jìn)行單一分析，從而能夠明確用戶的含義，并且會(huì)用戶的情緒進(jìn)行分析，從而判斷用戶的情緒狀態(tài)，來(lái)做出正確的答復(fù)和決策，能夠使能使人與智能多媒體設(shè)備之間的交互更加智能，便捷交互方式更加的便捷快速。

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互技術(shù)技術(shù)領(lǐng)域，具體為一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)。

背景技術(shù)

隨著人工智能的不斷發(fā)展，智能的人機(jī)交互系統(tǒng)也得到廣泛的應(yīng)用和普及，如蘋果公司的“SIRI”、小米公司的“小愛(ài)同學(xué)”和目前正處發(fā)展研究的“AI”，都在不斷的推薦人類的科技進(jìn)步和改善人們的生活。

目前的人機(jī)交互系統(tǒng)還比較單一，如應(yīng)用在多媒體智能電子產(chǎn)品上的人機(jī)交互，人可以解放雙手，使用語(yǔ)言驅(qū)動(dòng)的方式發(fā)出指令，從而控制手機(jī)做出相應(yīng)的操作，同時(shí)智能手機(jī)還可以與人進(jìn)行簡(jiǎn)單的文字答復(fù)，但是由于語(yǔ)言由于語(yǔ)音識(shí)別存在一定的誤差以及口語(yǔ)交流過(guò)程中用戶意圖往往存在一定模糊性，人機(jī)自然語(yǔ)言交互是一種非精確的信息交互，因此多媒體智能電子產(chǎn)品無(wú)法對(duì)語(yǔ)言含義進(jìn)行深刻的理解，從而無(wú)法做出正確的答復(fù)和決策，同時(shí)目前的人機(jī)交互過(guò)程中，只是對(duì)語(yǔ)言進(jìn)行采集，而且沒(méi)有對(duì)用戶的情緒進(jìn)行采集分析，因此做出的答復(fù)和決策的不完善。

發(fā)明內(nèi)容

(一)解決的技術(shù)問(wèn)題

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，解決了上述背景技術(shù)中提出的問(wèn)題。

(二)技術(shù)方案

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，包括用戶端、服務(wù)器端和醫(yī)生終端，所述用戶端和醫(yī)生終端均通過(guò)無(wú)線網(wǎng)絡(luò)與服務(wù)器端連接。

所述用戶端用于采集用戶的視頻和語(yǔ)音數(shù)據(jù)信息并通過(guò)網(wǎng)絡(luò)傳輸給服務(wù)器端，還用于為用戶播放音視頻和進(jìn)行語(yǔ)音視頻通話。

所述服務(wù)器端用于對(duì)用戶端采集的數(shù)據(jù)信息進(jìn)行分析和處理，并制定相應(yīng)的解決方案，然后將解決方案反饋給用戶端，還用于將用戶端與醫(yī)生終端進(jìn)行連接。

所述醫(yī)生終端用于將醫(yī)生通過(guò)無(wú)線網(wǎng)絡(luò)與用戶端的用戶進(jìn)行語(yǔ)音視頻溝通。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述用戶端包括視頻單元、語(yǔ)音單元、人機(jī)交互觸摸顯示單元、指紋登錄單元和控制單元；

所述視頻單元用于采集用戶的視頻；

所述語(yǔ)音單元用于采集用戶的音頻和播放音頻；

所述人機(jī)交互觸摸顯示單元用于實(shí)現(xiàn)多媒體交互功能；

所述指紋登錄單元用于采集用戶指紋數(shù)據(jù)并傳輸?shù)娇刂茊卧M(jìn)行處理；

所述控制單元用于對(duì)視頻采集單元、語(yǔ)音采集單元、人機(jī)交互觸摸顯示單元和指紋登錄單元進(jìn)行控制，獲取視頻單元、語(yǔ)音單元、人機(jī)交互觸摸顯示單元和指紋登錄單元并分析和處理，并傳輸給服務(wù)器端，接收服務(wù)器端的反饋結(jié)果并進(jìn)行處理。

作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述服務(wù)器端包括數(shù)據(jù)資源單元、語(yǔ)言處理單元、表情處理單元和溝通單元；

所述數(shù)據(jù)資源單元用于儲(chǔ)存用戶信息數(shù)據(jù)、文字?jǐn)?shù)據(jù)庫(kù)、表情數(shù)據(jù)庫(kù)和音視頻數(shù)據(jù)庫(kù)；

所述語(yǔ)音處理單元用于對(duì)用戶的語(yǔ)音進(jìn)行處理并作出決策；

所述表情分析單元用于對(duì)用戶的面部表情進(jìn)行處理并作出決策；