[發明專利]具有減少數量的相機的虛擬現實頭戴式設備及其操作方法

有效

• 申請號: 201680060107.2
• 申請日: 2016-12-21
• 公開（公告）號: CN108139808B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 溫宗晉;春·平·莊
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G02B27/01
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

本文公開了具有減少數量的相機的示例虛擬現實頭戴式設備及其操作方法。公開的示例方法包括提供具有成像傳感器的虛擬現實(VR)頭戴式顯示器(V?HMD)，所述成像傳感器包括色彩感測像素和所述色彩感測像素中的紅外(IR)感測像素；使用所述成像傳感器捕獲具有色彩部分和IR部分的圖像；從所述圖像中的至少一些IR部分形成IR圖像；基于所述IR圖像執行第一跟蹤；通過用從所述圖像的色彩部分和去除的IR感測像素在圖像中的位置確定的色彩數據替換至少一些去除的IR部分來形成色彩圖像；以及基于所述色彩圖像執行第二跟蹤。

相關申請的交叉引用

本申請是2016年1月15日提交的美國專利申請No.14/996,858的繼續申請，并要求其優先權，該美國專利申請的全部內容通過引用合并于此。

技術領域

本公開一般涉及虛擬現實，更具體地，涉及具有減少數量的相機的虛擬現實頭戴式設備及其操作方法。

背景技術

虛擬現實頭戴式顯示器具有多個相機，以成像和/或渲染虛擬現實環境，在該虛擬現實環境中某人可以物理地或虛擬地存在，并且跟蹤在虛擬現實環境中物理地和/或虛擬地存在的觀看者和/或其它物體的移動。

發明內容

本發明公開了具有減少數量的相機的虛擬現實頭戴式設備或顯示器及其操作方法。公開的示例方法包括提供具有成像傳感器的虛擬現實頭戴式顯示器，所述成像傳感器包括色彩感測像素和色彩感測像素中的紅外感測像素；使用所述成像傳感器捕獲具有色彩部分和紅外部分的圖像；從所述圖像中的至少一些紅外部分形成紅外圖像；基于紅外圖像執行第一跟蹤；通過用從圖像的色彩部分和去除的紅外感測像素在圖像中的位置確定的色彩數據替換至少一些去除的紅外部分來形成色彩圖像；以及基于色彩圖像執行第二跟蹤。

公開的一種用于虛擬現實環境中的示例虛擬現實頭戴式設備包括：成像傳感器，所述成像傳感器用于使用色彩感測像素和位于色彩感測像素之間的紅外感測像素來捕獲圖像，所捕獲的圖像具有色彩部分和紅外部分；重建器，所述重建器被配置為從所述圖像去除至少一些紅外部分，并且從所去除的紅外部分形成紅外圖像；第一跟蹤器，所述第一跟蹤器被配置為使用紅外圖像在虛擬現實環境內執行第一虛擬現實跟蹤；圖像修改器，所述圖像修改器用于通過用從圖像的色彩部分和去除的紅外感測像素在圖像中的位置確定的色彩感測像素替換去除的紅外部分來形成色彩圖像；以及第二跟蹤器，所述第二跟蹤器被配置為基于所述色彩圖像執行第二虛擬現實跟蹤。

公開的一種示例性非暫時性機器可讀介質存儲機器可讀指令，所述機器可讀指令當被執行時使得機器至少提供具有成像傳感器的虛擬現實頭戴式顯示器，所述成像傳感器包括色彩感測像素和色彩感測像素中的紅外感測像素；使用所述成像傳感器捕獲具有色彩部分和紅外部分的圖像；使用至少一些紅外部分形成紅外圖像；基于紅外圖像執行第一跟蹤；通過用從圖像的色彩部分和至少一些紅外部分在圖像中的位置確定的色彩數據替換至少一些紅外部分來形成色彩圖像；并且基于色彩圖像執行第二跟蹤。

附圖說明

圖1是根據本公開教導的包括具有較少相機的頭戴式設備的示例虛擬現實系統的示意圖。

圖2是根據本公開教導的所公開的圖1的示例虛擬現實頭戴式顯示器的示例前視圖。

圖3是根據本公開教導的具有較少相機的示例虛擬現實頭戴式顯示器的示意圖。

圖4是根據本公開教導的示例成像傳感器。

圖5是示出紅外感測像素的示例提取的圖。

圖6A和圖6B是示出示例方法的流程圖，該示例方法可以例如使用由一個或多個處理器執行的機器可讀指令來實現，以操作在此公開的示例頭戴式顯示器。

圖7是可用于實現本文公開的示例的示例計算機設備和示例移動計算機設備的框圖。

具體實施方式