[發明專利]多光譜照射和傳感器模塊

有效

• 申請號: 201880015179.4
• 申請日: 2018-02-23
• 公開（公告）號: CN110352364B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: R·K·普里塞;M·布萊耶;D·德曼多爾克斯
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G01S7/481
• 分類號: G01S7/481;G01S17/08;G01S17/46;G01S17/894;G01S5/16;G01S7/48;G02B27/01;G01S17/02;G01B11/25
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;辛鳴

一種設備和方法使用具有單個多光譜成像傳感器的多個光發射器來執行基于多模態紅外光的深度感測以及基于可見光的同時定位和映射(SLAM)。基于多模態紅外線的深度感測可以包括例如基于紅外的空間映射、基于紅外的手部跟蹤和/或基于紅外的語義加標記的任何組合。例如，基于可見光的SLAM可以包括頭部跟蹤。

技術領域

本申請的各實施例涉及用于頭部跟蹤、姿勢識別和空間映射的多光譜照射和傳感器模塊。

背景技術

深度感測技術可以用于與附近對象相關地確定人的位置或者用于在三維(3D)中生成人的直接環境的圖像。可以使用深度(距離)感測技術的一種應用是頭戴式顯示器(HMD)設備和其他類型的近眼顯示器(NED)設備。深度感測技術可以采用飛行時間(ToF)深度相機或結構化光深度相機。利用基于ToF的深度感測技術，光源將光線發射到其附近的環境中，并且ToF相機在光線反射離開附近的對象之后捕獲光線。光從光源傳播并且從對象反射回ToF相機所花費的時間可以根據已知的光速轉換成深度測量值(即，到對象的距離)。或者，可以確定檢測到的返回信號的相位并且將其用于計算深度測量值。可以利用其他類似的測量來處理這樣的測量，以在特定環境中創建物理表面的地圖(被稱為深度圖像或深度圖)，并且如果需要，可以渲染環境的3D圖像。結構化光深度相機將光圖案投射到環境上。當從不同的角度觀察時，環境的3D幾何形狀導致光看起來變形。透視的差異是由照射器與相機成像器之間的物理間距(也被稱為“基線”)引起的。

發明內容

這里介紹的是一種設備和方法(被統稱和單獨地稱為“這里介紹的技術”)，其利用具有單個多光譜成像傳感器的多個光發射器來執行基于多模態紅外光的深度感測以及基于可見光的同時定位和映射(SLAM)。基于多模態紅外線的深度感測可以包括例如基于紅外的手部跟蹤、基于紅外的空間映射和/或基于紅外的語義加標記的任何組合。例如，基于可見光的SLAM可以包括頭部跟蹤。

在一些實施例中，根據這里介紹的技術的一種近眼顯示設備包括照射模塊、成像傳感器和處理器。照射模塊朝向近眼顯示設備的環境發射第一頻率范圍的第一光(例如，紅外線)。成像傳感器接收由環境反射的第一頻率范圍的第一光和由環境反射的第二頻率范圍的第二光(例如，環境可見光)。處理器基于接收的第一光來識別由近眼顯示設備的用戶的身體部分做出的姿勢，并且基于接收的第二光來跟蹤用戶的頭部的位置和/或取向。

在一些實施例中，根據這里介紹的技術的一種近眼顯示設備包括第一照射模塊、第二照射模塊、成像傳感器和處理器。第一照射模塊朝向近眼顯示設備被定位在的環境發射第一頻率范圍的結構化光(例如，紅外線)。環境包括除了近眼顯示設備的用戶之外的對象。第二照射模塊朝向近眼顯示設備被定位在的環境發射第一頻率范圍的第二光(例如，紅外線)。成像傳感器接收由對象反射的結構化光的至少一部分、由近眼顯示設備的用戶的身體部分反射的第二光的至少一部分以及由環境的至少一部分反射的第二頻率范圍的第三光(例如，環境可見光)。處理器基于結構化光的接收的一部分來生成環境的空間圖，基于第二光的接收的一部分來檢測由用戶的身體部分做出的姿勢，并且基于接收的第三光來跟蹤用戶的頭部的位置和/或取向。

根據附圖和詳細描述，所公開的實施例的其他方面將很清楚。

提供本發明內容是為了以簡化的形式介紹一些概念，這些概念將在下面的具體實施方式中進一步說明。本發明內容不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

附圖說明

作為示例而非限制在附圖中示出了本公開的一個或多個實施例，附圖中的相同的附圖標記表示類似的元素。

圖1示出了可以使用啟用虛擬現實(VR)或增強現實(AR)的HMD設備的環境的示例。

圖2示出了HMD設備的示例的透視圖。

圖3示出了HMD設備的照射和傳感器模塊的一部分的正視圖。