[發明專利]眼動交互方法、頭戴式設備和計算機可讀介質

有效

• 申請號: 202010557932.1
• 申請日: 2020-06-18
• 公開（公告）號: CN111722716B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 易鑫;史元春;魯逸沁;王運濤
• 申請（專利權）人: 清華大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0482;G06F3/0484
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰

用于虛擬現實和/或增強現實頭戴式設備的眼動交互方法、頭戴式設備、計算機可讀介質，眼動交互方法包括：在屏幕上顯示虛擬現實場景，而不顯示菜單；追蹤用戶的視線；依據追蹤的視線，判斷用戶是否通過眼動進行了菜單觸發事件；在用戶進行了菜單觸發事件的情況下，顯示菜單。眼動交互方法還可以包括：在顯示菜單的情況下，依據追蹤的視線判斷用戶是否進行了菜單選擇事件；在確定用戶進行了菜單選擇事件的情況下，執行所選擇菜單項對應的命令，以及隱藏菜單。頭戴式設備的眼動交互方法中的菜單平時是不可見的，即不會占用用戶的視野，只有在用戶想要呼出菜單的時候才會出現，實驗驗證了菜單觸發技術和選擇技術的有效性、準確性和魯棒性。

技術領域

本發明總體地虛擬現實和/或增強現實頭戴式設備，更具體地涉及基于眼動跟蹤的交互方法和頭戴式設備。

背景技術

隨著虛擬現實(VR)和增強現實(AR)技術的發展，這些可以渲染虛擬目標的頭戴式設備已經走入大眾的生活，被廣大的用戶群體使用，并應用在各種領域，例如游戲、教育、醫療、特殊化訓練等。虛擬現實設備的例子有例如圖9所示的虛擬現實頭盔和圖10所示的增強現實頭盔。

現有的頭戴式顯示器中可以部署眼動儀來追蹤用戶在VR和AR使用眼球的移動和注視點的位置。但是，眼動儀能使用的場景和功能非常受限，主要由于以下幾點：1、眼動儀的追蹤精度不是非常高，一般會有0.5-2°的誤差，并且用戶在使用眼動進行交互時眼球的移動并不是那么穩定，這導致眼動儀獲取的信號不是非常可靠，經常伴隨著無規律的跳動和不小的噪聲；2、用戶的眼睛在VR和AR的使用中始終是張開的，如何判斷用戶的眼睛在某個時刻要進行一次有意的交互是一個比較大的挑戰。

目前，VR和AR中眼動交互非常有限：1、眼動通常被用來作為用戶交互的隱式輸入，例如使用眼動來判斷用戶在關注哪個區域，從而對那個區域進行特定的修改使得用戶可以用手或控制器更好地輸入；2、可以使用眼睛在界面中指點或者追蹤目標，以選擇菜單或選擇物體，但是這種交互無法普及到實用的場景中，因為無法判斷用戶使用VR和AR的自然眼動是否是在選擇目標，導致誤觸發的問題；3、使用眼睛進行停留或者畫特定軌跡，這些操作不容易在用戶自然眼動中誤觸發，但是這些交互的輸入效率較低。

發明內容

鑒于上述情況，提出了本發明。

根據本發明的一個方面，提供了一種用于虛擬現實和/或增強現實頭戴式設備的眼動交互方法，包括：在屏幕上顯示虛擬現實和/或增強現實的場景，而不顯示菜單；追蹤用戶的視線；依據追蹤的視線，判斷用戶是否通過眼動進行了菜單觸發事件；在確定用戶進行了菜單觸發事件的情況下，顯示菜單。

在一個示例中，屏幕上的視野包括菜單區域，所述在確定用戶進行了菜單觸發事件的情況下，顯示菜單包括：在菜單區域顯示菜單。

在一個示例中，以屏幕中心為基準，視野分為預定核心區域和預定外圍區域，所述菜單區域為所述預定外圍區域。

優選地，眼動交互方法還可以包括：在顯示菜單的情況下，依據追蹤的視線判斷用戶是否進行了菜單選擇事件；在確定用戶進行了菜單選擇事件的情況下，執行所選擇菜單項對應的命令，以及隱藏菜單。

優選地，所述菜單觸發事件包括：視線處于除菜單區域外的區域，接下來在第一預定時間內移動進入菜單邊界，并保持在菜單區域內不少于第二預定時間。

優選地，所述菜單選擇事件包括：視線在第三預定時間內從某個菜單項上離開菜單區域，接下來在所述預定核心區域維持不少于第四預定時間。

優選地，所述菜單選擇事件包括：用戶視線在某個菜單項上的情況下用戶眨眼。

優選地，所述第一預定時間、第二預定時間、第三預定時間、第四預定時間為150毫秒。

優選地，所述菜單邊界是針對不同用戶定制的。