[發明專利]具有減少數量的相機的虛擬現實頭戴式設備及其操作方法

有效

• 申請號: 201680060107.2
• 申請日: 2016-12-21
• 公開（公告）號: CN108139808B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 溫宗晉;春·平·莊
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G02B27/01
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種方法，包括：

提供具有成像傳感器的虛擬現實VR頭戴式顯示器V-HMD，所述成像傳感器包括色彩感測像素和所述色彩感測像素中的紅外IR感測像素；

使用所述成像傳感器捕獲具有色彩部分和IR部分的圖像；

通過以下從所捕獲的圖像形成IR圖像和色彩圖像：

從所捕獲的圖像中的至少一些所述IR部分形成所述IR圖像；

通過用從所捕獲的圖像的所述色彩部分和在所述成像傳感器中的所述IR感測像素的位置確定的色彩數據替換所捕獲的圖像的所述IR部分來形成色彩圖像；

基于所述IR圖像執行第一跟蹤；

基于所述色彩圖像執行第二跟蹤；以及

基于所述IR圖像和所述色彩圖像執行手跟蹤。

2.根據權利要求1所述的方法，進一步包括：

基于所述IR圖像執行第三跟蹤；以及

基于所述色彩圖像執行第四跟蹤。

3.根據權利要求1所述的方法，其中，所述第二跟蹤包括六自由度跟蹤。

4.根據權利要求3所述的方法，其中，所述第三跟蹤包括VR控制器的IR光學跟蹤。

5.根據權利要求1所述的方法，還包括提供所述色彩圖像以用于在所述V-HMD中顯示。

6.根據權利要求5所述的方法，進一步包括在所述V-HMD中顯示所述色彩圖像之前對所述色彩圖像執行裁剪或縮放中的至少一個。

7.根據權利要求1所述的方法，其中，所述圖像、所述色彩圖像和所述IR圖像中的至少兩個在大小、尺寸、采樣率或分辨率中的至少一個方面不同。

8.根據權利要求1所述的方法，其中，在色彩感測像素中的IR感測像素包括以下中的至少一個：

所述IR感測像素至少部分地被至少一些所述色彩感測像素包圍；以及

所述色彩感測像素和IR感測像素形成規則圖案。

9.一種用于虛擬現實VR環境中的VR頭戴式設備V-HMD，所述V-HMD包括：

成像傳感器，所述成像傳感器用于使用色彩感測像素和位于所述色彩感測像素中的紅外IR感測像素來捕獲圖像，所捕獲的圖像具有色彩部分和IR部分；

重建器，所述重建器被配置為從所所述圖像去除至少一些所述IR部分，并且從所去除的IR部分形成IR圖像；

第一跟蹤器，所述第一跟蹤器被配置為使用所述IR圖像在所述VR環境內執行第一VR跟蹤；

圖像修改器，所述圖像修改器用于通過用基于所述圖像的所述色彩部分和去除的IR感測像素在所述圖像中的位置確定的色彩數據替換去除的IR部分來形成色彩圖像；

第二跟蹤器，所述第二跟蹤器被配置為基于所述色彩圖像執行第二VR跟蹤；以及

手跟蹤器，所述手跟蹤器被配置為基于所述IR圖像和所述色彩圖像執行手跟蹤。

10.根據權利要求9所述的V-HMD，其中，IR感測像素替換色彩感測像素中的至少一些綠色感測像素。

11.根據權利要求9所述的V-HMD，其中，所述圖像、所述色彩圖像和所述IR圖像中的至少兩個在大小、尺寸、像素密度或分辨率中的至少一個方面不同。

12.根據權利要求9所述的V-HMD，其中，所述成像傳感器的所述IR感測像素和所述色彩感測像素被布置在規則圖案中，使得所述成像傳感器中的每2×2像素塊包括三個色彩感測像素和一個IR感測像素。

13.根據權利要求12所述的V-HMD，其中，所述成像傳感器中的每2×2像素塊的所述三個色彩感測像素包括紅色感測像素、藍色感測像素和綠色感測像素。