[發明專利]基于博物館導覽AR眼鏡的人機交互方法

在審

• 申請號: 202210300090.0
• 申請日: 2022-03-25
• 公開（公告）號: CN114647315A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 嚴小天;于洋;劉猛;申洋;劉淑婷
• 申請（專利權）人: 青島虛擬現實研究院有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 濰坊正信致遠知識產權代理有限公司 37255
• 代理人: 賈寶娟

本發明公開了一種基于博物館導覽AR眼鏡的人機交互方法，屬于增強現實技術領域，包括以下步驟：S1、穿戴識別單元識別穿戴信號，控制主機開機；S2、視頻采集單元采集眼部視線范圍內的場景圖像；S3、語音識別單元識別語音信號，對控制模式進行選擇，控制模式包括眼動控制模式、手勢控制模式和語音控制模式；S4、視覺追蹤單元獲取眼部活動信息，并轉換為對應控制信號進行交互；S5、手勢識別單元獲取用戶手部動作，并轉換為對應控制信號進行交互；S6、語音識別單元識別語音信號，并轉換為對應控制信號進行交互，游客可根據需要選擇通過眼動、手勢或語音來與AR眼鏡進行互動，讓游客獲得與AR眼鏡實時、逼真的互動體驗。

技術領域

本發明屬于增強現實技術領域，具體涉及一種基于博物館導覽AR眼鏡的人機交互方法。

背景技術

導覽或講解一直都是博物館深度體驗的關鍵，因為靜態的展品往往不能向普通的參觀者傳達出足夠的信息，而大段的文字解釋又顯得枯燥無味，因此產生了很多博物館導覽方法。如依靠說明牌、電子語音講解器、團隊人員講解、二維碼掃描導覽及智能語音導覽等方式。

這些傳統的導覽形式在獨具優勢的同時也存在著不同程度的弊端，無法滿足觀眾深入了解的要求。說明牌只能簡明扼要地介紹展品的信息，而且主要以圖文介紹為主，難易調動觀眾的積極性。電子語音講解器只能收聽事先錄制好的語音內容，內容存在一定的局限性，不能滿足觀眾多方面的內容需求，特別是有時還會存在精度不高的問題。專業講解員講解內容會受到周圍環境的影響，以致觀眾聽不清楚講解的內容，逐漸失去了繼續參觀的積極性。語音導覽系統信號源分布會出現重疊或缺失，因而造成講解內容與展陳實物不符的情況；二維碼掃描導覽其互動性和體驗感較差，不能讓用戶較好地融入到空間環境中。因此，大多數參觀者在參觀時游覽的質量不夠高。

發明內容

本發明所要解決的技術問題是：提供一種基于博物館導覽AR眼鏡的人機交互方法，讓游客在參觀展品的同時，能夠選擇合適的方式，通過增強現實技術獲得與AR眼鏡實時、逼真的互動體驗。

為解決上述技術問題，本發明的技術方案是：

基于博物館導覽AR眼鏡的人機交互方法，所述AR眼鏡包括主機及與所述主機電連接的穿戴識別單元、視頻采集單元、視覺追蹤單元、手勢識別單元、語音識別單元、語音輸出單元、顯示輸出單元以及定位單元；

所述人機交互方法，包括以下步驟：

S1、通過所述穿戴識別單元識別穿戴信號，控制主機開機；

S2、所述視頻采集單元采集眼部視線范圍內的場景圖像；

S3、通過語音識別單元識別語音信號，對控制模式進行選擇，所述控制模式包括眼動控制模式、手勢控制模式和語音控制模式，若為所述眼動控制模式，進入S4，若為所述手勢控制模式，進入S5，若為所述語音控制模式，進入S6；

S4、所述視覺追蹤單元獲取眼部活動信息，并轉換為對應控制信號與所述AR眼鏡進行交互；

S5、所述手勢識別單元獲取用戶手部動作，并轉換為對應控制信號與所述AR眼鏡進行交互；

S6、所述語音識別單元識別語音信號，并轉換為對應控制信號與所述AR眼鏡進行交互。

進一步的，所述S4、S5和S6中與所述AR眼鏡的交互為展品講解，具體包括：

S7a、選擇視線范圍內需要進行介紹的展品；

S7b、所述視頻采集單元將所述展品的圖片與所述主機內存儲的數據相匹配，獲取相應展品的文字和圖片的介紹信息；

S7c、所述顯示輸出單元生成文字和圖片形式的虛擬信息，投影在展品旁邊，所述語音輸出單元輸出語音介紹。

進一步的，所述S4、S5和S6中與所述AR眼鏡的交互為參觀導航，具體包括：