[發(fā)明專(zhuān)利]基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210300090.0
• 申請(qǐng)日: 2022-03-25
• 公開(kāi)（公告）號(hào): CN114647315A
• 公開(kāi)（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)小天;于洋;劉猛;申洋;劉淑婷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 青島虛擬現(xiàn)實(shí)研究院有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T19/00
• 代理公司: 濰坊正信致遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 37255
• 代理人: 賈寶娟

1.基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述AR眼鏡包括主機(jī)及與所述主機(jī)電連接的穿戴識(shí)別單元、視頻采集單元、視覺(jué)追蹤單元、手勢(shì)識(shí)別單元、語(yǔ)音識(shí)別單元、語(yǔ)音輸出單元、顯示輸出單元以及定位單元；

所述人機(jī)交互方法，包括以下步驟：

S1、通過(guò)所述穿戴識(shí)別單元識(shí)別穿戴信號(hào)，控制主機(jī)開(kāi)機(jī)；

S2、所述視頻采集單元采集眼部視線(xiàn)范圍內(nèi)的場(chǎng)景圖像；

S3、通過(guò)語(yǔ)音識(shí)別單元識(shí)別語(yǔ)音信號(hào)，對(duì)控制模式進(jìn)行選擇，所述控制模式包括眼動(dòng)控制模式、手勢(shì)控制模式和語(yǔ)音控制模式，若為所述眼動(dòng)控制模式，進(jìn)入S4，若為所述手勢(shì)控制模式，進(jìn)入S5，若為所述語(yǔ)音控制模式，進(jìn)入S6；

S4、所述視覺(jué)追蹤單元獲取眼部活動(dòng)信息，并轉(zhuǎn)換為對(duì)應(yīng)控制信號(hào)，所述AR眼鏡進(jìn)行交互；

S5、所述手勢(shì)識(shí)別單元獲取用戶(hù)手部動(dòng)作，并轉(zhuǎn)換為對(duì)應(yīng)控制信號(hào)與所述AR眼鏡進(jìn)行交互；

S6、所述語(yǔ)音識(shí)別單元識(shí)別語(yǔ)音信號(hào)，并轉(zhuǎn)換為對(duì)應(yīng)控制信號(hào)與所述AR眼鏡進(jìn)行交互。

2.根據(jù)權(quán)利要求1所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述S4、S5和S6中與所述AR眼鏡的交互為展品講解，具體包括：

S7a、選擇視線(xiàn)范圍內(nèi)需要進(jìn)行介紹的展品；

S7b、所述視頻采集單元將所述展品的圖片與所述主機(jī)內(nèi)存儲(chǔ)的數(shù)據(jù)相匹配，獲取相應(yīng)展品的文字和圖片的介紹信息；

S7c、所述顯示輸出單元生成文字和圖片形式的虛擬信息，投影在展品旁邊，所述語(yǔ)音輸出單元輸出語(yǔ)音介紹。

3.根據(jù)權(quán)利要求1所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述S4、S5和S6中與所述AR眼鏡的交互為參觀導(dǎo)航，具體包括：

S8a、通過(guò)所述顯示輸出單元顯示博物館地圖，所述博物館地圖顯示有各展品位置以及通過(guò)所述定位單元定位的用戶(hù)位置；

S8b、選擇所述博物館地圖上的展品；

S8c、規(guī)劃出相應(yīng)路線(xiàn)，并對(duì)用戶(hù)進(jìn)行導(dǎo)航。

4.根據(jù)權(quán)利要求3所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述S8c為所述博物館地圖顯示規(guī)劃路線(xiàn)，并通過(guò)所述顯示輸出單元顯示投影進(jìn)行導(dǎo)航。

5.根據(jù)權(quán)利要求3所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述S8c為通過(guò)所述語(yǔ)音輸出單元進(jìn)行語(yǔ)音提示導(dǎo)航。

6.根據(jù)權(quán)利要求3所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述定位單元為UWB接收器。

7.根據(jù)權(quán)利要求1所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述視覺(jué)追蹤單元為用于檢測(cè)用戶(hù)眼動(dòng)參數(shù)的眼動(dòng)追蹤傳感器。

8.根據(jù)權(quán)利要求7所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述眼動(dòng)參數(shù)包括眼跳次數(shù)、注視次數(shù)、注視時(shí)長(zhǎng)和注視時(shí)長(zhǎng)眼球閉合時(shí)長(zhǎng)。

9.根據(jù)權(quán)利要求1所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述穿戴識(shí)別單元為在所述AR眼鏡的多個(gè)人體接觸區(qū)域分別設(shè)置的若干壓敏傳感器，所述壓敏傳感器均被按壓時(shí)，所述主機(jī)開(kāi)機(jī)。

10.根據(jù)權(quán)利要求1至9任一項(xiàng)所述的基于博物館導(dǎo)覽AR眼鏡的人機(jī)交互方法，其特征在于，所述手勢(shì)識(shí)別單元為安裝于所述AR眼鏡下端的手勢(shì)識(shí)別攝像頭，所述手勢(shì)識(shí)別攝像頭的拍攝方向?yàn)橛脩?hù)水平視線(xiàn)下方。