[發明專利]頭戴式顯示設備的交互方法、裝置及頭戴式顯示設備

有效

• 申請號: 202110502354.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113282169B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06F3/0482;G06F3/0485
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

本申請公開了一種頭戴式顯示設備的交互方法、裝置及頭戴式顯示設備。該方法包括：實時獲取手勢圖像；利用第一手勢識別模型對手勢圖像進行識別，得到第一手勢識別結果，若第一手勢識別結果滿足第一預設交互條件，則響應于第一手勢識別結果，在顯示界面上激活滑動菜單并展示滑動菜單中的意向菜單元素；利用第二手勢識別模型對手勢圖像進行識別，得到第二手勢識別結果，若第二手勢識別結果滿足第二預設交互條件，則響應于第二手勢識別結果，對意向菜單元素進行確認，以在顯示界面上展示與意向菜單元素對應的用戶界面內容。本申請不需要用戶使用外部輸入設備與頭戴式顯示設備進行交互，簡化了用戶操作，提高了交互效率以及用戶的虛擬交互體驗。

技術領域

本申請涉及頭戴式顯示設備技術領域，具體涉及一種頭戴式顯示設備的交互方法、裝置及頭戴式顯示設備。

背景技術

隨著科技的進步，市場需求的多元化發展，虛擬現實設備等頭戴式顯示設備正變得越來越普遍，并應用在許多領域，如電腦游戲，健康和安全，工業和教育培訓等領域。例如混合虛擬現實系統正在被整合到移動通訊設備、游戲機、個人電腦、電影院、主題公園、大學實驗室、學生教室以及醫院鍛煉健身室等生活中的各個角落。

一般而言，現有的頭戴式顯示設備中涉及到的技術主要包括虛擬現實(VirtualReality，簡稱VR)、增強現實(Augmented?Reality，簡稱AR)、混合現實(Mixed?Reality，簡稱MR)，以及它們的某種組合和/或衍生組合等，其實現原理是在將顯示內容呈現給用戶之前以某種方式進行調整，以給用戶提供更好的沉浸式體驗。

以虛擬現實系統為例，典型的虛擬現實系統一般包括一個或多個用于向用戶呈現和顯示內容的設備，例如可以包含由用戶佩戴并配置為向用戶輸出虛擬現實內容的頭戴式顯示器(Head?Mounted?Display，簡稱HMD)，虛擬現實內容可能包括完全生成的內容或生成的內容與捕獲的內容(例如，真實世界的視頻、圖像等)相結合。在用戶操作使用期間，用戶通常與虛擬現實系統交互，以選擇內容、啟動應用程序或以其他方式配置系統。

然而發明人發現，上述交互方案中缺少可用于與頭戴式顯示設備進行交互的簡單、方便且快速的輸入設備，例如可用于在菜單中定位和選擇用戶界面元素的輸入設備。在某些頭戴式顯示設備中，可以通過用戶的雙手提供用戶與菜單或圖標等用戶界面元素的交互，然而，這種交互方式會出現用戶的一只手阻擋另一只手的情況，使得頭戴式顯示設備難以準確確定用戶的意圖行為。此外，如果用戶需要手持外部硬件元件進行交互，可能會降低各種不便于手持外部硬件元件的用戶的可訪問性，進而導致用戶的虛擬交互體驗較差。

發明內容

有鑒于此，本申請的主要目的在于提供了一種頭戴式顯示設備的交互方法、裝置及頭戴式顯示設備，用于解決現有的頭戴式顯示設備的交互方法交互效率不高，用戶體驗較差等技技術問題。

依據本申請的第一方面，提供了一種頭戴式顯示設備的交互方法，包括：

實時獲取手勢圖像；

利用第一手勢識別模型對所述手勢圖像進行識別，得到第一手勢識別結果，若所述第一手勢識別結果滿足第一預設交互條件，則響應于所述第一手勢識別結果，在顯示界面上激活滑動菜單并展示滑動菜單中的意向菜單元素；

利用第二手勢識別模型對所述手勢圖像進行識別，得到第二手勢識別結果，若所述第二手勢識別結果滿足第二預設交互條件，則響應于所述第二手勢識別結果，對所述意向菜單元素進行確認，以在所述顯示界面上展示與所述意向菜單元素對應的用戶界面內容。

依據本申請的第二方面，提供了一種頭戴式顯示設備的交互裝置，包括：

手勢圖像獲取單元，用于實時獲取手勢圖像；