[發(fā)明專利]增強現(xiàn)實設備以及在其上操作用戶界面的方法

有效

• 申請?zhí)枺?/td>: 201480009315.0
• 申請日: 2014-02-13
• 公開（公告）號: CN105009031B
• 公開（公告）日: 2017-12-15
• 發(fā)明（設計）人: A·普洛斯;C·布朗;D·麥克洛克;J·科爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 上海專利商標事務所有限公司31100
• 代理人: 管琦琦

技術領域

本發(fā)明涉及增強現(xiàn)實領域。

背景技術

增強現(xiàn)實計算設備可以顯示被覆蓋在包括真實對象的環(huán)境上的虛擬對象。由此，增強現(xiàn)實計算設備的用戶可以在增強現(xiàn)實體驗期間與真實對象和虛擬對象兩者交互。在一些實例中，在與各對象進行交互時，不同的對象可以具有可被執(zhí)行的不同的相關聯(lián)的計算設備動作。此外，對任何對象可用的命令可以取決于對象的狀態(tài)而改變。由此，用戶可能不得不學習交互的相對大且復雜的集合以導航增強現(xiàn)實體驗。

發(fā)明內容

公開了用于在包括透視顯示系統(tǒng)的增強現(xiàn)實計算設備上操作用戶界面的各實施例。例如，一個公開的實施例包括提供一種方法，包括：接收選擇透視顯示系統(tǒng)的視野內的對象的用戶輸入，基于所選對象的一個或多個標識以及對象的狀態(tài)來確定當前可操作的第一組命令，以及向用戶呈現(xiàn)第一組命令。該方法可以進一步包括：接收來自第一組命令的命令，響應于該命令將所選對象的狀態(tài)從第一狀態(tài)改變成第二狀態(tài)，基于第二狀態(tài)來確定第二組命令，其中第二組命令與第一組命令不同，以及向用戶呈現(xiàn)第二組命令。

提供本概述是為了以精簡的形式介紹將在以下詳細描述中進一步描述的一些概念。本發(fā)明內容并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現(xiàn)。

附圖說明

圖1示出對增強現(xiàn)實計算系統(tǒng)的示例使用環(huán)境的示意描繪。

圖2示意性示出了增強現(xiàn)實顯示設備的一個示例實施例。

圖3是圖2的顯示設備的框圖。

圖4-5示出增強現(xiàn)實顯示設備用戶與增強現(xiàn)實環(huán)境中對象的示例交互。

圖6示出示例的上下文知曉語音識別關鍵字組。

圖7示出根據(jù)本公開的用于操作增強現(xiàn)實計算設備上用戶界面的示例方法。

圖8示意性地示出了示例計算系統(tǒng)。

具體實施方式

透視顯示系統(tǒng)，例如頭戴式顯示(HMD)設備或其他近眼顯示設備可以用于向用戶呈現(xiàn)背景場景的增強現(xiàn)實視圖。此類增強的現(xiàn)實環(huán)境可以包括用戶可經(jīng)由用戶輸入(諸如，語音輸入、姿勢輸入、眼睛跟蹤輸入、運動輸入和/或任何其他合適的輸入類型)與其交互的各種虛擬對象和真實對象。作為更加具體的示例，用戶可以使用語音輸入來執(zhí)行與增強現(xiàn)實環(huán)境中所選對象相關聯(lián)的命令。

不同的對象可以具有不同的相關聯(lián)命令，并且由于與對象相關聯(lián)的命令可以隨著對象狀態(tài)的改變而改變，開發(fā)可用于各種對象的用戶界面命令的知識可能耗時且耗力。

相應地，本文中公開了涉及促進與增強現(xiàn)實計算設備環(huán)境中各對象的交互的各實施例。簡要地，所公開的實施例涉及基于對象身份并且還潛在地基于對象的狀態(tài)向用戶呈現(xiàn)對對象可用的命令的表示。表示被配置成僅呈現(xiàn)那些當前可用的命令，從而使用戶可以清楚地看到在那個時間可用的交互。

圖1示出了頭戴式顯示設備104的一實施例的使用環(huán)境的示例實施例，其中環(huán)境100采用了客廳的形式。用戶正在透過透視頭戴式顯示設備104形式的增強現(xiàn)實計算設備查看客廳房間并且可以經(jīng)由顯示設備104的用戶界面與增強的環(huán)境進行交互。圖1還描繪了用戶視野102，其包括通過顯示設備104可查看的部分環(huán)境，并且因此所述部分環(huán)境可用顯示設備104顯示的圖像來增強。增強環(huán)境可以包括多個顯示對象和虛擬對象，例如，用戶可以與其進行交互的媒體設備。例如，增強環(huán)境可以包括虛擬電視設備111、真實電話設備113以及真實媒體播放器設備115。增強環(huán)境中的這些對象中的每一個可以被用戶106選擇從而使用戶可以對所選對象執(zhí)行動作。在某些實施例中，用戶視野102實質上可以與用戶的實際視界同延，而在其它實施例中，用戶視野102可以占據(jù)比用戶的實際視界更小的部分。

如下面將要更詳細描述的，顯示設備104可以包括一個或多個朝外的圖像傳感器(例如，二維相機和/或深度相機)，其配置為在用戶導航環(huán)境時獲取表示用戶環(huán)境100的圖像數(shù)據(jù)(例如，彩色/灰度圖像、深度圖像/點云圖像等)。這種圖像數(shù)據(jù)可被用于獲取與環(huán)境布局(例如，三維表面圖等)和其中包含的對象(諸如，書櫥108、沙發(fā)114、桌子117、電話設備113和音樂或媒體設備115)有關的信息。