[發(fā)明專利]一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911072525.5
• 申請(qǐng)日: 2019-11-05
• 公開（公告）號(hào): CN110853765A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 劉召義
• 申請(qǐng)（專利權(quán)）人: 江蘇安防科技有限公司
• 主分類號(hào): G16H80/00
• 分類號(hào): G16H80/00;G06F3/16;G06K9/00;G10L15/26;G10L21/0208;G10L25/63
• 代理公司: 蘇州中合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32266
• 代理人: 劉奇

1.一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：包括用戶端、服務(wù)器端和醫(yī)生終端，所述用戶端和醫(yī)生終端均通過無線網(wǎng)絡(luò)與服務(wù)器端連接；

所述用戶端用于采集用戶的視頻和語音數(shù)據(jù)信息并通過網(wǎng)絡(luò)傳輸給服務(wù)器端，還用于為用戶播放音視頻和進(jìn)行語音視頻通話；

所述服務(wù)器端用于對(duì)用戶端采集的數(shù)據(jù)信息進(jìn)行分析和處理，并制定相應(yīng)的解決方案，然后將解決方案反饋給用戶端，還用于將用戶端與醫(yī)生終端進(jìn)行連接；

所述醫(yī)生終端用于將醫(yī)生通過無線網(wǎng)絡(luò)與用戶端的用戶進(jìn)行語音視頻溝通。

2.根據(jù)權(quán)利要求1所述的一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：所述用戶端包括視頻單元、語音單元、人機(jī)交互觸摸顯示單元、指紋登錄單元和控制單元；

所述視頻單元用于采集用戶的視頻；

所述語音單元用于采集用戶的音頻和播放音頻；

所述人機(jī)交互觸摸顯示單元用于實(shí)現(xiàn)多媒體交互功能；

所述指紋登錄單元用于采集用戶指紋數(shù)據(jù)并傳輸?shù)娇刂茊卧M(jìn)行處理；

所述控制單元用于對(duì)視頻采集單元、語音采集單元、人機(jī)交互觸摸顯示單元和指紋登錄單元進(jìn)行控制，獲取視頻單元、語音單元、人機(jī)交互觸摸顯示單元和指紋登錄單元并分析和處理，并傳輸給服務(wù)器端，接收服務(wù)器端的反饋結(jié)果并進(jìn)行處理。

3.根據(jù)權(quán)利要求2所述的一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：所述服務(wù)器端包括數(shù)據(jù)資源單元、語言處理單元、表情處理單元和溝通單元；

所述數(shù)據(jù)資源單元用于儲(chǔ)存用戶信息數(shù)據(jù)、文字?jǐn)?shù)據(jù)庫、表情數(shù)據(jù)庫和音視頻數(shù)據(jù)庫；

所述語音處理單元用于對(duì)用戶的語音進(jìn)行處理并作出決策；

所述表情分析單元用于對(duì)用戶的面部表情進(jìn)行處理并作出決策；

所述溝通單元用于將用戶端與醫(yī)生終端進(jìn)行連接。

4.根據(jù)權(quán)利要求3所述的一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：所述語音處理單元包括語音轉(zhuǎn)換模塊、語音檢索模塊和語音分析模塊；

所述語音轉(zhuǎn)換模塊用于將音頻轉(zhuǎn)換成文字形式；

所述語音檢索模塊用于將文字進(jìn)行分段，然后按照關(guān)鍵詞的形式在數(shù)據(jù)資源單元內(nèi)進(jìn)行檢索；

所述語音分析模塊用于將檢索出的結(jié)果進(jìn)行分析匯總后生成文字答復(fù)或相關(guān)指令。

5.根據(jù)權(quán)利要求4所述的一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：所述表情處理單元包括表情識(shí)別模塊、表情比對(duì)模塊和表情分析模塊；

所述表情識(shí)別模塊用于對(duì)用戶的表情的進(jìn)行識(shí)別并產(chǎn)生表情數(shù)據(jù)；

所述表情比對(duì)模塊用于將得到的表情數(shù)據(jù)與數(shù)據(jù)資源單元內(nèi)進(jìn)行比對(duì)得到結(jié)果；

所述表情分析模塊用于將得到的表情結(jié)果進(jìn)行分析得到用戶情緒狀態(tài)。

6.根據(jù)權(quán)利要求5所述的一種基于環(huán)境可視的智能人機(jī)交互系統(tǒng)，其特征在于：所述溝通單元包括判斷模塊和請(qǐng)求溝通模塊；

所述判斷模塊通過對(duì)語音處理單元的文字答復(fù)和表情處理單元的用戶情緒狀態(tài)進(jìn)行綜合分析，判斷用戶是否需要溝通；

所述請(qǐng)求溝通模塊用于向用戶端和醫(yī)生終端發(fā)送請(qǐng)求溝通指令。