[發(fā)明專利]一種人機(jī)交互系統(tǒng)、方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610004024.3
• 申請(qǐng)日: 2016-01-04
• 公開(kāi)（公告）號(hào): CN105487673B
• 公開(kāi)（公告）日: 2018-01-09
• 發(fā)明（設(shè)計(jì)）人: 盧永春
• 申請(qǐng)（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司11274
• 代理人: 申健

技術(shù)領(lǐng)域

本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種人機(jī)交互系統(tǒng)、方法及裝置。

背景技術(shù)

隨著電子信息科學(xué)技術(shù)的發(fā)展，人與計(jì)算機(jī)的交互活動(dòng)在人們的日常生活中占據(jù)了重要的地位，其中，結(jié)合虛擬現(xiàn)實(shí)技術(shù)利用人的動(dòng)作進(jìn)行人機(jī)交互活動(dòng)也成為了人機(jī)交互活動(dòng)的一個(gè)主要發(fā)展趨勢(shì)。

現(xiàn)有技術(shù)中，結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行人機(jī)交互活動(dòng)時(shí)，用戶需要與計(jì)算機(jī)直接接觸，或者使用實(shí)體輸入裝置對(duì)計(jì)算機(jī)發(fā)出操作指令。比如，用戶對(duì)計(jì)算機(jī)進(jìn)行觸摸操作，從而實(shí)現(xiàn)計(jì)算機(jī)的各種功能，或者，計(jì)算機(jī)連接有鼠標(biāo)和鍵盤，用戶利用鼠標(biāo)和鍵盤對(duì)計(jì)算機(jī)發(fā)出操作指令，從而實(shí)現(xiàn)計(jì)算機(jī)的各種功能。但是，由于用戶需要使用實(shí)體物理裝置來(lái)操作計(jì)算機(jī)的方式較為復(fù)雜，使得用戶進(jìn)行虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互活動(dòng)的操作便利性較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種人機(jī)交互系統(tǒng)、方法及裝置，用于提高用戶進(jìn)行虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互活動(dòng)的操作便利性。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

第一方面，本發(fā)明提供了一種人機(jī)交互系統(tǒng)，包括：可穿戴設(shè)備和顯示設(shè)備；

所述可穿戴設(shè)備包括圖像采集模塊、存儲(chǔ)器、處理器、圖像投射模塊、信息發(fā)送接口；

所述圖像采集模塊連接所述處理器，用于采集用戶的當(dāng)前手勢(shì)圖像和所述顯示設(shè)備的顯示圖像；

所述處理器連接所述存儲(chǔ)器，用于將所述當(dāng)前手勢(shì)圖像與所述存儲(chǔ)器中預(yù)存的手勢(shì)數(shù)據(jù)庫(kù)中的手勢(shì)進(jìn)行匹配，確定匹配的手勢(shì)的手勢(shì)類別，確定與所述手勢(shì)類別對(duì)應(yīng)的控制指令，根據(jù)所述控制指令，生成與所述控制指令對(duì)應(yīng)的虛擬工具圖像；

所述圖像投射模塊連接所述處理器，用于投射出包括所述虛擬工具圖像和所述顯示圖像的虛擬圖像；

所述信息發(fā)送接口連接所述處理器，用于將所述控制指令發(fā)送給所述顯示設(shè)備；

所述顯示設(shè)備用于在接收到所述控制指令時(shí)，執(zhí)行所述控制指令。

第二方面，本發(fā)明提供了一種人機(jī)交互方法，包括：

可穿戴設(shè)備采集用戶的當(dāng)前手勢(shì)圖像和顯示設(shè)備的顯示圖像；

將所述當(dāng)前手勢(shì)圖像與預(yù)存的手勢(shì)數(shù)據(jù)庫(kù)中的手勢(shì)進(jìn)行匹配，確定匹配的手勢(shì)的手勢(shì)類別，確定與所述手勢(shì)類別對(duì)應(yīng)的控制指令；

根據(jù)所述控制指令，生成與所述控制指令對(duì)應(yīng)的虛擬工具圖像，投射出包括所述虛擬工具圖像和所述顯示設(shè)備的顯示圖像的虛擬圖像；

將所述控制指令發(fā)送給所述顯示設(shè)備，使得所述顯示設(shè)備執(zhí)行所述控制指令。

第三方面，本發(fā)明提供了一種人機(jī)交互裝置，包括：

采集模塊，用于采集用戶的當(dāng)前手勢(shì)圖像和所述顯示設(shè)備的顯示圖像；

確定模塊，用于將所述當(dāng)前手勢(shì)圖像與預(yù)存的手勢(shì)數(shù)據(jù)庫(kù)中的手勢(shì)進(jìn)行匹配，確定匹配的手勢(shì)的手勢(shì)類別，確定與所述手勢(shì)類別對(duì)應(yīng)的控制指令；

生成模塊，用于根據(jù)所述控制指令，生成與所述控制指令對(duì)應(yīng)的虛擬工具圖像；

投射模塊，用于投射出包括所述虛擬工具圖像和所述顯示設(shè)備的顯示圖像的虛擬圖像；

發(fā)送模塊，用于將所述控制指令發(fā)送給所述顯示設(shè)備，使得所述顯示設(shè)備執(zhí)行所述控制指令。

本發(fā)明提供的人機(jī)交互系統(tǒng)、方法及裝置中，采集用戶的當(dāng)前手勢(shì)圖像和顯示設(shè)備的顯示圖像，將當(dāng)前手勢(shì)圖像與手勢(shì)數(shù)據(jù)庫(kù)中的手勢(shì)進(jìn)行匹配，確定匹配的手勢(shì)的手勢(shì)類別，確定與手勢(shì)類別對(duì)應(yīng)的控制指令，生成與控制指令對(duì)應(yīng)的虛擬工具圖像，投射出包括虛擬工具圖像和顯示設(shè)備的顯示圖像的虛擬圖像，并向顯示設(shè)備發(fā)送控制指令，使得顯示設(shè)備執(zhí)行該控制命令，從而實(shí)現(xiàn)控制命令對(duì)應(yīng)的功能。與需要利用物理實(shí)體裝置實(shí)現(xiàn)人機(jī)交互活動(dòng)的現(xiàn)有技術(shù)相比，本發(fā)明利用用戶的手勢(shì)就能生成控制指令，生成對(duì)應(yīng)的虛擬工具圖像，使用戶能夠看到包括虛擬工具圖像和顯示設(shè)備的顯示圖像的虛擬圖像，并能利用控制指令控制顯示設(shè)備實(shí)現(xiàn)對(duì)應(yīng)的功能，不需要特意使用物理實(shí)體裝置對(duì)顯示設(shè)備進(jìn)行操作，就能夠?qū)崿F(xiàn)虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互活動(dòng)，提高了用戶進(jìn)行虛擬現(xiàn)實(shí)技術(shù)的人機(jī)交互活動(dòng)的操作便利性。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1為本發(fā)明實(shí)施例一中人機(jī)交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例二中人機(jī)交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為本發(fā)明實(shí)施例三中人機(jī)交互方法的流程圖；

圖4為本發(fā)明實(shí)施例四中人機(jī)交互方法的流程圖；