[發(fā)明專利]一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810509996.7
• 申請(qǐng)日: 2018-05-24
• 公開（公告）號(hào): CN108762503A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計(jì)）人: 楊金源
• 申請(qǐng)（專利權(quán)）人: 深圳萬智聯(lián)合科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)，包括：采集模塊，用于采集多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括采集到的環(huán)境數(shù)據(jù)，生理數(shù)據(jù)和行為數(shù)據(jù)；狀態(tài)判斷模塊，用于根據(jù)所述采集模塊采集的多模態(tài)數(shù)據(jù)，確定用戶當(dāng)前狀態(tài)；處理模塊，用于根據(jù)所述狀態(tài)判斷模塊確定的用戶當(dāng)前狀態(tài)執(zhí)行相應(yīng)的處理。本發(fā)明能夠綜合考慮采集的多模態(tài)數(shù)據(jù)并作出反應(yīng)，智能化水平高，適用于不同場合。

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，特別是一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)。

背景技術(shù)

現(xiàn)有技術(shù)中，人機(jī)交互系統(tǒng)大多都是從用戶中獲取單一的數(shù)據(jù)，并對(duì)該數(shù)據(jù)加以分析和判斷后作出相應(yīng)的回應(yīng)，采集數(shù)據(jù)的類型單一，不能全面分析用戶要表達(dá)的情況，智能化水平低，不能滿足用戶使用。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明旨在提供一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)。

本發(fā)明的目的采用以下技術(shù)方案來實(shí)現(xiàn)：

一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)，包括：

采集模塊，用于采集多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括采集到的環(huán)境數(shù)據(jù)，生理數(shù)據(jù)和行為數(shù)據(jù)；

狀態(tài)判斷模塊，用于根據(jù)所述采集模塊采集的多模態(tài)數(shù)據(jù)，確定用戶當(dāng)前狀態(tài)；

處理模塊，用于根據(jù)所述狀態(tài)判斷模塊確定的用戶當(dāng)前狀態(tài)執(zhí)行相應(yīng)的處理。

優(yōu)選地，所述處理模塊，具體用于根據(jù)所述用戶當(dāng)前狀態(tài)在云端數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)匹配，獲取合適的處理方案，并根據(jù)所述處理方案執(zhí)行相應(yīng)的處理。

優(yōu)選地，所述采集模塊，具體包括環(huán)境采集設(shè)備，生理采集設(shè)備和行為采集設(shè)備，其中，所述環(huán)境采集設(shè)備包括溫度數(shù)據(jù)采集設(shè)備，濕度數(shù)據(jù)采集設(shè)備中的一種或多種；生理采集設(shè)備包括腦電數(shù)據(jù)采集設(shè)備，血壓數(shù)據(jù)采集設(shè)備，體溫?cái)?shù)據(jù)采集設(shè)備，呼吸數(shù)據(jù)采集設(shè)備中的一種或多種；所述行為采集設(shè)備包括圖像采集設(shè)備，語音采集設(shè)備中的一種或多種。

本發(fā)明提供了一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)，通過采集模塊采集用戶以及環(huán)境的多模態(tài)數(shù)據(jù)，并根據(jù)采集的數(shù)據(jù)進(jìn)行分析，確定用戶的當(dāng)前狀態(tài)，以此為基礎(chǔ)匹配相應(yīng)的處理方案進(jìn)行處理，能夠綜合考慮采集的多模態(tài)數(shù)據(jù)并作出反應(yīng)，智能化水平高，適用于不同場合。

附圖說明

利用附圖對(duì)本發(fā)明作進(jìn)一步說明，但附圖中的實(shí)施例不構(gòu)成對(duì)本發(fā)明的任何限制，對(duì)于本領(lǐng)域的普通技術(shù)人員，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)以下附圖獲得其它的附圖。

圖1為本發(fā)明的框架結(jié)構(gòu)圖；

圖2為本發(fā)明狀態(tài)判斷模塊的框架結(jié)構(gòu)圖；

圖3為本發(fā)明數(shù)據(jù)融合單元的框架結(jié)構(gòu)圖。

具體實(shí)施方式

結(jié)合以下應(yīng)用場景對(duì)本發(fā)明作進(jìn)一步描述。

參見圖1，其示出了一種基于多模態(tài)數(shù)據(jù)采集的人機(jī)交互系統(tǒng)，包括：

采集模塊1，用于采集多模態(tài)數(shù)據(jù)，多模態(tài)數(shù)據(jù)包括采集到的環(huán)境數(shù)據(jù)，生理數(shù)據(jù)和行為數(shù)據(jù)；

狀態(tài)判斷模塊2，用于根據(jù)采集模塊1采集的多模態(tài)數(shù)據(jù)，確定用戶當(dāng)前狀態(tài)；

處理模塊3，用于根據(jù)狀態(tài)判斷模塊2確定的用戶當(dāng)前狀態(tài)執(zhí)行相應(yīng)的處理。

本發(fā)明上述實(shí)施方式，通過采集模塊1采集用戶以及環(huán)境的多模態(tài)數(shù)據(jù)，并根據(jù)采集的數(shù)據(jù)進(jìn)行分析，確定用戶的當(dāng)前狀態(tài)，以此為基礎(chǔ)匹配相應(yīng)的處理方案進(jìn)行處理，能夠綜合考慮采集的多模態(tài)數(shù)據(jù)并作出反應(yīng)，智能化水平高，適用于不同場合。

優(yōu)選地，環(huán)境數(shù)據(jù)包括系統(tǒng)所處環(huán)境的溫度，濕度等；