[發明專利]對象全息增強

有效

• 申請號: 201880040127.2
• 申請日: 2018-05-24
• 公開（公告）號: CN110770678B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: C·F·F·科斯塔
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F1/16;G06F3/03;G06F3/038
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 張曦

用于使用混合現實設備來增強真實世界對象的設備、系統和方法，涉及：捕獲圖像數據，圖像數據用于由混合現實設備觀測到的物理空間中包括的真實世界對象；基于圖像數據，將真實世界對象自動地分類為與對象分類相關聯；基于真實世界對象與對象分類相關聯，自動地標識軟件應用；將軟件應用與真實世界對象相關聯；以及與真實世界對象相關聯地，在混合現實設備上執行軟件應用。

背景技術

許多消費者電子設備，諸如“物聯網”類型的設備，包括有限的或者沒有顯示器和/或用戶輸入硬件。替代地，這樣的設備依賴于對其他系統的使用來完全控制或以其他方式實現它們的能力。例如，許多IoT類型的設備依賴于對智能電話和定制智能電話應用的使用來與它們交互和控制它們。正確地標識并且然后成功地安裝和配置這樣的應用經常是不確定和/或冗長的過程。即使在設備已經與智能電話應用成功地配對之后，諸如必須為顯著數目的設備安裝單獨的應用、為特定設備訪問適當的應用、以及智能電話形狀因子和界面上的限制等體驗也是冗長且復雜的。這樣的因素對于這樣的設備的廣泛采用造成了顯著障礙。

發明內容

用于混合現實設備的系統被公開。該系統可以包括一個或多個面向外的圖像傳感器，該一個或多個面向外的圖像傳感器被包括在混合現實設備中并且被配置為：捕獲第一圖像數據，第一圖像數據用于由混合現實設備觀測到的物理空間中包括的第一真實世界對象。該系統還可以包括：對象分類器，被配置為基于所捕獲的第一圖像數據，將第一真實世界對象自動地分類為與第一對象分類相關聯；以及應用標識器，被配置為基于第一真實世界對象與第一對象分類相關聯，自動地標識第一軟件應用。另外，該系統可以包括控制器，控制器被配置為：存儲將第一軟件應用與第一真實世界對象相關聯的數據；以及與第一真實世界對象相關聯地，在混合現實設備上執行第一軟件應用。

在另一方面，用于使用混合現實設備來增強真實世界對象的方法被公開。該方法可以包括：捕獲第一圖像數據，第一圖像數據用于由混合現實設備觀測到的物理空間中包括的第一真實世界對象；以及基于第一圖像數據，將第一真實世界對象自動地分類為與第一對象分類相關聯。該方法還可以包括：基于第一真實世界對象與第一對象分類相關聯，自動地標識第一軟件應用；將第一軟件應用與第一真實世界對象相關聯；以及與第一真實世界對象相關聯地，在混合現實設備上執行第一軟件應用。

該概述被提供來以簡化的形式介紹概念的選集，這些概念在下文在詳細描述中進一步被描述。該概述不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任何部分中指出的任何或所有缺點的實施方式。

附圖說明

附圖通過僅示例的方式，而非通過限制的方式描繪了根據本教導的一個或多個實施方式。在附圖中，相似的參考標號指代相同或類似的元素。

圖1A圖示了混合現實(MR)設備的示例，并且圖1B圖示了圖1A中圖示的MR設備的框圖。

圖2圖示了用戶在具有多個真實對象的物理空間中時佩戴MR設備的示例。

圖3圖示了用于與圖2中圖示的MR設備一起使用的處理環境和相關系統的示意性示例。

圖4圖示了用于使用在MR設備上執行的軟件應用來增強真實世界對象的方法和/或過程的示例。

圖5圖示了用戶在具有多個真實對象的物理空間中時佩戴MR設備的示例，其中針對真實對象中的一些真實對象，視覺指示符被顯示給用戶。

圖6圖示了用戶利用指示符來選擇對象的示例。

圖7圖示了虛擬菜單被顯示給用戶的示例。

圖8圖示了軟件應用被顯示給用戶的示例。

圖9圖示了處于第一位置的第一對象的示例，其具有與第一真實世界對象相關聯的軟件應用所提供的圖形虛擬界面。

圖10圖示了具有其圖形虛擬界面的處于第二位置的圖9中示出的第一對象的示例。